Старший інженер з даних в Smart Arbitrage Technologies

Про

Ми шукаємо потужного інженера з даних, щоб приєднатися до нашої команди розробників і допомогти нам створити нову високомасштабовану та доступну версію алгоритмічної торгової платформи.

Як Інженер із обробки даних, ви братимете участь в розробці архітектури платформи, а також у впровадженні ETL-сервісів для неї.

Ви також розроблятимете системи сховищ даних і обробки даних, інструменти, які допоможуть нашій дослідницькій команді отримати доступ до величезної кількості даних. ефективне використання даних.

Ідеальний кандидат повинен мати значний досвід роботи з Python, SQL, ETL, аналітикою розподілених даних, системами HA і HL.

Це новий проект із новою основою , що дає можливість повністю використовувати свій досвід, не оглядаючись на будь-яку спадщину чи попередній технічний вибір.

Стек

• Python, Java, Scala, Go
< li>Spark, Flink, Pandas, Numpy, FastAPI
• Kafka, NATS, gRPC
• Postgres, Redis, ClickHouse
• Zookeeper, Consul тощо
• Docker, Ansible, Vault, GHA
• Prometheus, AM, Grafana, ELK
• AWS

Вимоги strong>

• 5+ років досвіду роботи інженером даних.
• Володіння Python та використання його як основної мови розробки за останні роки.
< li>Практичне знання принаймні однієї іншої мови програмування: Java, Scala, Go, Rust тощо.
• Досвід роботи з великими даними.
• Досконале володіння SQL та реляційними базами даних: Postgres , MySQL тощо.
• Володіння NoSQL: Redis, Zookeeper, Hadoop, Consul тощо.
• Володіння СУБД, орієнтованими на стовпці: ClickHouse, Vertica, Snowflake тощо.
• Можливість проектувати складні моделі даних: нормалізовані, багатовимірні тощо.
• Досвід впровадження розподілених, масштабованих і відмовостійких систем.
• Досвід розробки, підтримки та налагодження проблеми у великих кодових базах на стороні сервера.
• Гарне знання передового досвіду проектування та тестування.
• Здатність ділитися знаннями та наставляти інших.

Обов’язки

• Покращити існуючу інфраструктуру обробки даних, щоб зробити її масштабованою та підготувати до очікуваних обсягів великих даних.
• Створити придатну для обслуговування та стійку до збоїв Конвеєри ETL, служби даних.
• Вирішувати складні технічні проблеми щодо стабільності, доступності, затримки та пропускної здатності.
• Проводити науково-дослідну роботу з новою технологією.
• Підтримувати високий рівень стандартів кодування якості в команді.
• Визначайте, проектуйте та впроваджуйте вдосконалення процесів.
• Підтримуйте гарну інженерну культуру, допомагайте іншим навчатися та розвиватися.
• Візьміть високий ступінь власності та свободи експериментувати з новими технологіями для покращення нашого програмного забезпечення.

Умови

• Мінімальна бюрократія, можливість легко спілкуватися з усіма рівнями управління. Ми прагнемо приймати рішення швидко, без місяців обговорень.
• Можливість бути на передовій технологій торгівлі, впливаючи на основні інвестиційні рішення.
• Спільне, інноваційне середовище, де ваш внесок зробити різницю.