Старший инженер данных в Smart Arbitrage Technologies

О компании

Мы ищем сильного инженера по данным, который присоединится к нашей команде разработчиков и поможет нам создать новую легко масштабируемую и высокодоступную версию алгоритмической торговой платформы.

Как Инженер по обработке данных, вы будете участвовать в архитектуре платформы, а также во внедрении для нее сервисов ETL.

Вы также будете разрабатывать системы хранилищ и обработки данных, инструменты, которые позволят нашей исследовательской группе получить доступ к огромным объемам данных. эффективно использовать данные.

Идеальный кандидат должен иметь большой опыт работы с Python, SQL, ETL, распределенным анализом данных, системами высокой доступности и HL.

Это новый проект с новой основой. , что дает возможность полностью использовать свой опыт, не оглядываясь на устаревшие или предыдущие технические решения.

Стек

• Python, Java, Scala, Go
< li>Spark, Flink, Pandas, Numpy, FastAPI
• Kafka, NATS, gRPC
• Postgres, Redis, ClickHouse
• Zookeeper, Consul и т. д.
>
• Docker, Ansible, Vault, GHA
• Prometheus, AM, Grafana, ELK
• AWS

Требования

AWS

Требования

Docker, Ansible, Vault, GHA

Prometheus, AM, Grafana, ELK Strong>

• Опыт работы инженером данных более 5 лет.
• Знание Python и использование его в качестве основного языка разработки в последние годы.
< li>Практическое знание как минимум еще одного языка программирования: Java, Scala, Go, Rust и т. д.
• Опыт работы с большими данными.
• Знание SQL и реляционных баз данных: Postgres. , MySQL и т. д.
• Владение NoSQL: Redis, Zookeeper, Hadoop, Consul и т. д.
• Владение столбцово-ориентированными СУБД: ClickHouse, Vertica, Snowflake и т. д.
• Владение столбцово-ориентированными СУБД: ClickHouse, Vertica, Snowflake и т. д.
• Владение столбцовыми СУБД: ClickHouse, Vertica, Snowflake и т. д. li>
• Умение разрабатывать сложные модели данных: нормализованные, многомерные и т. д.
• Опыт внедрения распределенных, масштабируемых и отказоустойчивых систем.
• Опыт разработки, обслуживания и отладки проблемы в больших базах серверного кода.
• Хорошие знания в области разработки и тестирования.
• Умение делиться знаниями и наставлять других.

Обязанности

• Улучшить существующую инфраструктуру обработки данных, чтобы сделать ее масштабируемой и подготовить ее к ожидаемым объемам больших данных.
• Создать обслуживаемую и отказоустойчивую Конвейеры ETL, службы передачи данных.
• Решайте сложные технические проблемы, связанные со стабильностью, доступностью, задержкой и пропускной способностью.
• Проводите исследования и разработки с использованием новых технологий.
• Поддерживайте высокий уровень стандарты качества кодирования внутри команды.
• Определять, разрабатывать и внедрять улучшения процессов.
• Поддерживать хорошую инженерную культуру, помогать другим учиться и расти.
• Принять меры высокая степень владения и свобода экспериментировать с новыми технологиями для улучшения нашего программного обеспечения.

Условия

• Минимум бюрократии, возможность легко общаться со всеми уровнями управление. Мы стремимся принимать решения быстро, без многомесячных обсуждений.
• Возможность быть в авангарде торговых технологий, влияя на важные инвестиционные решения.
• Совместная, инновационная среда, где ваш вклад изменить ситуацию.