Старший/провідний інженер з даних в Quantum

Quantum є глобальним технологічним партнером, який надає високоякісні програмні продукти, які вирішують проблеми реального світу.

Ми вдосконалюємо нові технології для нестандартних рішень. Ми зосереджуємося на машинному навчанні, комп’ютерному баченні, глибокому навчанні, ГІС, MLOps, блокчейні тощо.

Тут, у Quantum, ми прагнемо створювати найсучасніші рішення які ефективно вирішують нагальні проблеми, з якими стикаються бізнес і світ. На сьогоднішній день наша команда виняткових людей уже допомогла багатьом організаціям у всьому світі досягти технологічного лідерства.

Ми постійно знаходимо нові способи вирішення безкінечних бізнес-завдань, впроваджуючи нові технології, навіть якщо ще немає найкраща практика. Якщо ви поділяєте нашу пристрасть до вирішення проблем і впливу, приєднуйтеся до нас і насолоджуйтеся нашим багатим досвідом!

Про посаду

Quantum розширює команду та має чудові можливості для провідного інженера з даних. Клієнтом є технологічна дослідницька компанія, яка використовує власний аналіз на основі штучного інтелекту та мовні моделі для надання повної інформації про глобальні акції всіма мовами. Наша місія полягає в тому, щоб подолати прогалину в знаннях у світі інвестицій і дати можливість інвесторам будь-якого типу стати «суперінвесторами».

Завдяки нашій технології штучного інтелекту, яка впроваджується в брокерські платформи та інфраструктуру інших фінансових установ, ми пропонують миттєвий фундаментальний аналіз світових акцій разом із індивідуальними інвестиційними стратегіями, що дозволяє мільйонам інвесторів у всьому світі приймати обґрунтовані інвестиційні рішення.

Потрібно мати навички:

— Принаймні 5+ років на посаді інженера даних або відповідний досвід із провідними навичками

— Досвід роботи зі Spark/PySpark

— Тверде знання Python (Java може бути варіант, але кодова база на Python) і розуміння об’єктно-орієнтованого дизайну

— Практичний досвід оптимізації роботи Spark, знання розгортання Spark, керування ресурсами для завдань Spark

— Розуміння різниці між OLAP і OLTP: операційна система та система обробки даних

— Знання абстракцій моделі даних: сховище даних, озерна ділянка. А також моделі даних: архітектура Medallion, стартова схема, широкі таблиці

— Знайомство з технологіями SQL і NoSQL

— Принаймні рівень Upper-Intermediate (усна та письмова)

Буде перевага:

— Apache Storm, Apache Flink, GCP Data Flow, Apache beam

— Apache Hadoop, Apache Hive, Snowflake, Dremio, Redshift

— Airflow, Prefect, Airbyte

— Добре знання AWS Glue або Amazon EMR і пов’язаних інструментів

— У контексті досвіду аналізу даних за допомогою Apache Pulsar, Kafka, Kinesis

— Presto/Trino, Athena

— Розуміння різниці між пакетами та потоками. А також - різниця між чергою та потоком даних

— Контроль якості даних: походження даних, якість даних тощо

— Шаблони архітектури знань, такі як лямбда, каппа, сітка даних< /p>

Ваші завдання включатимуть:

— створення архітектури для виробничого рішенняs, запропонуйте рішення для покращення

— Створення та підтримка каналів даних для вилучення, перетворення та завантаження даних

— Керування базами даних, забезпечення узгодженості, цілісності та безпеки даних

— Виявляйте та вирішуйте проблеми продуктивності на рівнях архітектури, дизайну та коду

— Розробляйте надійні модульні та інтеграційні тести відповідно до організаційних стандартів

— Створюйте технічні рішення для завдань

— Складайте плани проектів, оцінюйте бюджети

— Співпрацюйте з дизайнерами, розробниками та власниками продуктів

— Беріть участь у попередніх продажах, аналізуйте завдання, спілкуйтеся з клієнтами

Ми пропонуємо:

— Надання проектів висококласного програмного забезпечення, які вирішують проблеми реального світу

— Навколишні фахівці, які готові професійно рухатися вперед

— План професійного зростання та підтримка керівника команди

— Взяти на себе відповідальність за дослідження та розробки та соціально значущі проекти

— Участь у всесвітніх технічних конференціях і конкурсах

— Участь у регулярних освітніх заходах

— Бути частиною мультикультурної компанії з веселою та легкою атмосферою

— Працювати будь-де з гнучким графіком роботи

— оплачувана відпустка та лікарняні

Приєднайтеся до Quantum і зробіть крок до свого майбутнього, керованого даними .