Старший инженер данных в Smart Arbitrage Technologies

Старший инженер по данным Мы ищем сильного инженера по данным, который присоединится к нашей команде разработчиков и поможет нам создать новую высокомасштабируемую и высокодоступную версию алгоритмической торговой платформы. В качестве инженера по данным вы будете участвовать в разработке архитектуры платформы, а также во внедрении для нее сервисов ETL. Вы также будете разрабатывать системы хранения и обработки данных, инструменты, которые позволят нашей исследовательской группе эффективно получать доступ к огромным объемам данных. Идеальный кандидат должен иметь сильный опыт работы с Python, SQL, ETL, распределенным анализом данных, системами высокой доступности и HL. Это новый проект с новой основой, дающий возможность полностью использовать свой опыт, не оглядываясь на какое-либо наследие или предыдущие технические решения. Stack Python, Java, Scala, Go Spark, Flink, Pandas, Numpy, FastAPI Kafka, NATS, gRPC Postgres, Redis, ClickHouse Zookeeper, Consul, etcd Docker, Ansible, Vault, GHA Prometheus, AM, Grafana, ELK Требования AWS 5+ многолетний опыт работы инженером по данным. Владение Python и использование его в качестве основного языка разработки в последние годы. Практическое знание как минимум еще одного языка программирования: Java, Scala, Go, Rust и т. д. Опыт работы с большими данными. Владение SQL и реляционными базами данных: Postgres, MySQL и т. д. Владение NoSQL: Redis, Zookeeper, Hadoop, Consul и т. д. Владение столбцово-ориентированными СУБД: ClickHouse, Vertica, Snowflake и т. д. Способность проектировать сложные модели данных: нормализованные, многомерные, и т.д. Опыт внедрения распределенных, масштабируемых и отказоустойчивых систем. Опыт разработки, сопровождения и отладки проблем в больших базах серверного кода. Хорошее знание передового опыта проектирования и тестирования. Способность делиться знаниями и наставлять других. Обязанности Улучшение существующей инфраструктуры обработки данных, чтобы сделать ее масштабируемой и подготовить ее к ожидаемым объемам больших данных. Создавайте удобные в обслуживании и отказоустойчивые ETL-конвейеры, сервисы передачи данных. Решайте сложные технические проблемы, касающиеся стабильности, доступности, задержки и пропускной способности. Проведение НИОКР с использованием новых технологий. Поддерживать высокие стандарты кодирования внутри команды. Определить, спроектировать и внедрить улучшения процессов. Поддерживайте хорошую инженерную культуру, помогайте другим учиться и расти. Получите полную свободу действий и возможность экспериментировать с новыми технологиями для улучшения нашего программного обеспечения. Условия Минимальная бюрократия, возможность легкого общения со всеми уровнями управления. Стремитесь принимать решения быстро, без месяцев обсуждений. Возможность выйти на передовые позиции в области торговых технологий, влияя на важные инвестиционные решения. Совместная инновационная среда, в которой ваш вклад имеет значение.