Старший/провідний інженер з даних в Quantum

Quantum є глобальним технологічним партнером, який надає високоякісні програмні продукти, які вирішують реальні проблеми. Ми просуваємо нові технології для нестандартних рішень. Ми зосереджені на машинному навчанні, комп’ютерному баченні, глибокому навчанні, ГІС, MLOps, блокчейні тощо. Тут, у Quantum, ми прагнемо створювати сучасні рішення, які ефективно вирішують нагальні проблеми, з якими стикаються бізнеси та світ. Сьогодні наша команда видатних людей уже допомогла багатьом організаціям у всьому світі досягти технологічного лідерства. Ми постійно відкриваємо нові способи вирішення безкінечних бізнес-завдань шляхом впровадження нових технологій, навіть якщо ще немає найкращої практики. Якщо ви поділяєте нашу пристрасть до вирішення проблем і впливу, приєднуйтесь і насолоджуйтеся знайомством з нашим багатим досвідом! Про посаду Quantum розширює команду та має блискучі можливості для провідного інженера даних. Клієнтом є технологічна дослідницька компанія, яка використовує власний аналіз на основі штучного інтелекту та мовні моделі, щоб надати повну інформацію про глобальні акції всіма мовами. Наша місія полягає в тому, щоб подолати прогалину в знаннях у світі інвестицій і дати можливість будь-яким інвесторам стати «суперінвесторами». Завдяки нашій технології генеративного штучного інтелекту, яка впроваджена в брокерські платформи та інфраструктури інших фінансових установ, ми пропонуємо миттєвий фундаментальний аналіз світових акцій разом із індивідуальними інвестиційними стратегіями, що дає змогу інвестувати на основі інформації. рішення для мільйонів інвесторів у всьому світі. Потрібно мати навички: щонайменше 5 років на посаді інженера даних або відповідний досвід роботи з провідними навичками. Досвід роботи з Spark/PySpark. Тверде знання Python (Java може бути варіантом, але кодова база – Python) та розуміння об’єктно-орієнтованого дизайну. Практичний досвід оптимізації роботи Spark, знання розгортання Spark, керування ресурсами для завдань Spark Розуміння різниці між OLAP і OLTP: операційна система проти системи обробки даних Знання абстракцій моделі даних: сховище даних, lakehouse. І моделі даних: архітектура Medallion, стартова схема, широкі таблиці Знайомство з технологіями SQL і NoSQL Принаймні рівень англійської мови Upper-Intermediate (усний і письмовий) Плюс: Apache Storm, Apache Flink, GCP Data Flow, Apache beamApache Hadoop, Apache Hive, Snowflake, Dremio, RedshiftAirflow, Prefect, Airbyte Добре знання AWS Glue або Amazon EMR і пов’язаних інструментів У контексті досвіду аналізу даних за допомогою Apache Pulsar, Kafka, KinesisPresto/Trino, Athena Розуміння різниці між партіями та потоками. Крім того — різниця між потоком aqueue і adata. Контроль якості даних: походження даних, якість даних тощо. Шаблони архітектури знань, як-от лямбда, каппа, сітка даних. Ваші завдання включатимуть: створення архітектури для виробничих рішень, пропонування рішень для вдосконалення. створення та підтримка конвеєрів даних для вилучення, перетворення та завантаження даних. Керування базами даних, забезпечення узгодженості, цілісності та безпеки даних. Виявляти та вирішувати проблеми продуктивності на рівнях архітектури, дизайну та коду. Розробляти надійні модульні та інтеграційні тести відповідно до організаційних стандартів. Створювати технічні рішення для завдань. Складати плани проектів, наприкладрозподіляйте бюджети Співпрацюйте з дизайнерами, розробниками та власниками продукту Беріть участь у попередніх продажах, аналізуйте завдання, спілкуйтеся з клієнтами Ми пропонуємо: Реалізація високоякісних проектів програмного забезпечення, які вирішують реальні проблеми Навколишні експерти, які готові професійно просуватися впередПлан професійного зростання та підтримка керівника команди Взяття на себе відповідальності за дослідження та розробки та соціально значущі проекти Участь у всесвітніх технічних конференціях і конкурсах Участь у регулярних освітніх заходах Бути окремою мультикультурною компанією з веселою та безтурботною атмосферою Працювати будь-де з гнучким робочим часом Оплачувана відпустка та лікарняні дні Приєднуйтесь до Quantum і зробіть крок до свого майбутнього, керованого даними.