Старший/ведущий инженер данных в Quantum

Quantum — глобальный технологический партнер, поставляющий высококачественные программные продукты, решающие реальные проблемы.

Мы продвигаем новые технологии для нестандартных решений. Мы специализируемся на машинном обучении, компьютерном зрении, глубоком обучении, ГИС, MLOps, блокчейне и многом другом.

В Quantum мы стремимся создавать самые современные решения. которые эффективно решают насущные проблемы, с которыми сталкивается бизнес и мир. На сегодняшний день наша команда выдающихся людей уже помогла многим организациям по всему миру достичь технологического лидерства.

Мы постоянно находим новые способы решения бесконечных бизнес-задач путем внедрения новых технологий, даже если еще не существует лучшая практика. Если вы разделяете нашу страсть к решению проблем и оказанию влияния, присоединяйтесь к нам и наслаждайтесь знакомством с нашим богатым опытом!

О позиции

Quantum расширяет команду и открывает блестящие возможности для ведущего инженера данных. Клиент — технологическая исследовательская компания, которая использует собственный анализ на основе искусственного интеллекта и языковые модели для предоставления комплексной информации о мировых акциях на всех языках. Наша миссия — восполнить пробел в знаниях в мире инвестиций и дать инвесторам всех типов возможность стать «суперинвесторами».

Благодаря нашей генеративной технологии искусственного интеллекта, внедренной в брокерские платформы и инфраструктуру других финансовых учреждений, мы предлагает мгновенный фундаментальный анализ мировых акций наряду с индивидуальными инвестиционными стратегиями, что позволяет миллионам инвесторов по всему миру принимать обоснованные инвестиционные решения.

Необходимы навыки:

— Не менее 5 лет на должности инженера по обработке данных или соответствующий опыт с руководящими навыками.

— Знание Spark/PySpark.

— Уверенное знание Python (можно Java). вариант, но кодовая база на Python) и понимание объектно-ориентированного проектирования.

— Практический опыт оптимизации производительности заданий Spark, знание развертывания Spark, управления ресурсами для заданий Spark.

— Понимание разницы между OLAP и OLTP: операционная система и система обработки данных

— Знание абстракций модели данных: хранилище данных, Lakehouse. И модели данных: архитектура Medallion, стартовая схема, широкие таблицы.

— Знакомство с технологиями SQL и NoSQL.

— Уровень английского языка не ниже Upper-Intermediate (разговорный и письменный)

— p>

Было бы плюсом:

— Apache Storm, Apache Flink, GCP Data Flow, Apache луч

— Apache Hadoop, Apache Hive, Snowflake, Dremio, Redshift

— Airflow, Prefect, Airbyte

— Хорошее знание AWS Glue или Amazon EMR и связанных с ними инструментов

— В контексте опыта анализа данных с Apache Pulsar, Kafka, Kinesis

— Presto/Trino, Athena

— Понимание разницы между пакетами и потоками. А также — разница между очередью и потоком данных.

— Контроль качества данных: происхождение данных, качество данных и т. д.

— Шаблоны архитектуры знаний, такие как лямбда, каппа, сетка данных< /p>

Ваши задачи будут включать в себя:

— Создание архитектуры для производственного решения.s, предложите решения для улучшения.

— Создание и поддержка конвейеров данных для извлечения, преобразования и загрузки данных.

— Управление базами данных, обеспечение согласованности, целостности и безопасности данных.

— Управление базами данных, обеспечение согласованности, целостности и безопасности данных.

p>

— Обнаружение и решение проблем производительности на уровне архитектуры, дизайна и кода.

— Разработка надежных модульных и интеграционных тестов в соответствии со стандартами организации.

— Генерация технических решений для задач.

— Составляйте планы проектов, оценивайте бюджеты.

— Сотрудничает с дизайнерами, разработчиками и владельцами продуктов.

— Принимайте участие в предпродаже, анализируйте задачи, общайтесь с клиентами.

Мы предлагаем:

— Реализация высококачественных программных проектов, решающих реальные проблемы.

— Окружающие специалисты, готовые двигаться вперед в профессиональном плане

— План профессионального роста и поддержка руководителя группы

— Берем на себя ответственность за НИОКР и социально значимые проекты

— Участие во всемирных технологических конференциях и конкурсах.

— Участие в регулярных образовательных мероприятиях.

— Быть частью мультикультурной компании с веселой и беззаботной атмосферой.

— Работа из любой точки мира с гибким графиком

 – оплачиваемый отпуск и больничные.

Присоединяйтесь к Quantum и сделайте шаг к своему будущему, основанному на данных. .