Старший інженер з даних в Smart Arbitrage Technologies

Старший інженер з обробки даних віддалено Про нас. Ми шукаємо потужного інженера з даних, який би приєднався до нашої команди розробників і допоміг нам створити нову високомасштабовану та доступну версію алгоритмічної торгової платформи. Як інженер Data Data ви братимете участь в архітектурі платформи, а також у впровадженні ETL-сервісів для неї. Ви також розроблятимете системи зберігання та обробки даних, інструменти, які допоможуть нашій дослідницькій групі ефективно отримувати доступ до величезних обсягів даних. Ідеальний кандидат повинен мати серйозний досвід у Python, SQL, ETL, аналітиці розподілених даних, системах HA та HL. Це новий проект із новою основою, що дає можливість повністю використовувати свій досвід, не оглядаючись на спадщину чи попередні технічні рішення. Stack Python, Java, Scala, Go Spark, Flink, Pandas, Numpy, FastAPI Kafka, NATS, gRPC Postgres, Redis, ClickHouse Zookeeper, Consul, etcd Docker, Ansible, Vault, GHA Prometheus, AM, Grafana, ELK Вимоги до AWS 5+ багаторічний досвід роботи інженером з даних. Володіння Python і використання його як основної мови розробки за останні роки. Практичні знання принаймні ще однієї мови програмування: Java, Scala, Go, Rust тощо. Досвід роботи з Big Data. Володіння SQL та реляційними базами даних: Postgres, MySQL тощо. Володіння NoSQL: Redis, Zookeeper, Hadoop, Consul тощо. Володіння СУБД, орієнтованими на стовпці: ClickHouse, Vertica, Snowflake тощо. Здатність проектувати складні моделі даних: нормалізовані, багатовимірні, та ін. Досвід впровадження розподілених, масштабованих та відмовостійких систем. Досвід розробки, підтримки та налагодження проблем у великих кодових базах на стороні сервера. Добре знання найкращих інженерних практик і тестування. Здатність ділитися знаннями та наставляти інших. Обов’язки Удосконалити існуючу інфраструктуру Data Engineering, щоб зробити її масштабованою та підготувати її до очікуваних обсягів Big Data. Створюйте зручні та відмовостійкі конвеєри ETL, служби даних. Вирішуйте складні технічні проблеми щодо стабільності, доступності, затримки та пропускної здатності. Проведення науково-дослідної роботи з новою технологією. Підтримуйте високоякісні стандарти кодування в команді. Визначати, проектувати та впроваджувати вдосконалення процесу. Підтримуйте хорошу інженерну культуру, допомагайте іншим навчатися та розвиватися. Отримайте високий ступінь володіння та свободи, щоб експериментувати з новими технологіями для покращення нашого програмного забезпечення. Умови Мінімум бюрократії, можливість легкого спілкування з усіма рівнями управління. Ми прагнемо приймати рішення швидко, без місяців обговорень. Можливість вийти на передову технологію торгівлі, впливаючи на основні інвестиційні рішення. Інноваційне середовище для співпраці, де ваш внесок має значення.