Старший/ведущий инженер данных в Quantum

Quantum — глобальный технологический партнер, поставляющий высококачественные программные продукты, решающие реальные проблемы. Мы внедряем новые технологии для нестандартных решений. Мы фокусируемся на машинном обучении, компьютерном зрении, глубоком обучении, ГИС, MLOps, блокчейне и многом другом. Здесь, в Quantum, мы стремимся создавать современные решения, которые эффективно решают насущные проблемы, с которыми сталкивается бизнес и мир. На сегодняшний день наша команда выдающихся людей уже помогла многим организациям по всему миру достичь технологического лидерства. Мы постоянно находим новые способы решения бесконечных бизнес-задач путем внедрения новых технологий, даже если передовой практики еще нет. Если вы разделяете нашу страсть к решению проблем и оказанию влияния, присоединяйтесь к нам и наслаждайтесь знакомством с нашим богатым опытом! О должностиQuantum расширяет команду и предлагает блестящие возможности для ведущего инженера по данным. Клиент — технологическая исследовательская компания, которая использует собственный анализ на основе искусственного интеллекта и языковые модели для предоставления комплексной информации о мировых акциях на всех языках. Наша миссия — заполнить пробел в знаниях в мире инвестиций и дать инвесторам всех типов возможность стать «суперинвесторами». Благодаря нашей генеративной технологии искусственного интеллекта, внедренной в брокерские платформы и инфраструктуру других финансовых учреждений, мы предлагаем мгновенный фундаментальный анализ мировых акций наряду с индивидуальными инвестиционными стратегиями, что позволяет осуществлять осознанное инвестирование. решения для миллионов инвесторов по всему миру. Должны иметь навыки: не менее 5 лет на должности инженера по обработке данных или соответствующий опыт работы с ведущими навыками. Экспертиза Spark/PySpark. Уверенное знание Python (Java может быть опцией, но кодовая база isonPython) и понимание объектно-ориентированного проектирования. Практический опыт оптимизации производительности заданий Spark, знание развертывания Spark, управление ресурсами для заданий Spark. Понимание разницы между OLAP и OLTP: операционная система и система обработки данных. Знание абстракций модели данных: хранилище данных, Lakehouse. И модели данных: архитектура Medallion, стартовая схема, широкие таблицы. Знакомство с технологиями SQL и NoSQL. Уровень английского языка как минимум выше среднего (устный и письменный). Плюс: Apache Storm, Apache Flink, GCP Data Flow, Apache лучApache Hadoop, Apache Hive, Snowflake, Dremio, RedshiftAirflow, Prefect, AirbyteХорошее знание AWS Glue или Amazon EMR и связанных с ними инструментов. Опыт анализа данных с Apache Pulsar, Kafka, KinesisPresto/Trino, Athena. Понимание разницы между пакетами и потоками. А также разница между очередью и потоком данных. Контроль качества данных: происхождение данных, качество данных и т. д. Шаблоны архитектуры знаний, такие как лямбда, каппа, сетка данных. Ваши задачи будут включать в себя: Создание архитектуры для производственных решений, предложение решений для улучшения. Создание и поддержка конвейеров данных для извлечения, преобразование и загрузка данныхУправление базами данных, обеспечение согласованности, целостности и безопасности данныхОбнаружение и решение проблем производительности на уровне архитектуры, дизайна и кодаРазработка надежных модульных и интеграционных тестов в соответствии со стандартами организацииРазработка технических решений для задачСоставление планов проектов, напримерскромные бюджетыСотрудничает с дизайнерами, разработчиками и владельцами продуктовПринимайте участие в предпродажной подготовке, анализируйте задачи, общайтесь с клиентамиМы предлагаем:Реализация высококачественных программных проектов, решающих реальные проблемыОкружение экспертов, готовых профессионально двигаться впередПлан профессионального роста и поддержка руководителей группыВзять на себя ответственность за НИОКР и социально значимые задачи проектыУчастие во всемирных технологических конференциях и конкурсахРегулярные образовательные мероприятияБыть частью мультикультурной компании с веселой и беззаботной атмосферойРабота из любой точки мира с гибким графиком работыОплачиваемый отпуск и больничныеПрисоединяйтесь к Quantum и сделайте шаг к своему будущему, основанному на данных.