Старший інженер з даних в Provectus

Про проект
Ми шукаємо талановитого та досвідченого старшого інженера з обробки даних, який приєднається до нашої команди в Provectus. У рамках нашої різноманітної практики, включаючи дані, машинне навчання, DevOps, розробку додатків і контроль якості, ви співпрацюватимете з багатопрофільною командою інженерів з обробки даних, інженерів з машинного навчання та розробників додатків. Ви зіткнетеся з численними технічними труднощами та матимете можливість брати участь у захоплюючих проектах з відкритим кодом (наприклад, ODD, UI для Kafka), створювати внутрішні рішення та брати участь у науково-дослідній діяльності, забезпечуючи чудове середовище для професійного зростання.

• тісно співпрацювати з клієнтами, щоб глибше зрозуміти їхні існуючі ІТ-середовища, програми, бізнес-вимоги та цілі цифрової трансформації;
• Збирайте великі обсяги різноманітних наборів даних і керуйте ними;
• працюйте безпосередньо з спеціалістами з обробки даних та інженерами ML для створення надійних і стійких конвеєрів даних, які живлять продукти даних;
• визначайте моделі даних, які інтегрують різні даних у всій організації;
• Розробляти, впроваджувати та підтримувати конвеєри ETL;
• Розробляти та постійно тестувати керовані даними рішення.

Вимоги:

• 5+ років досвіду в розробці даних;
• Досвід роботи з хмарними рішеннями (бажано AWS, також GCP або Azure);
• Досвід роботи з хмарними платформами даних (наприклад, Snowflake, Databricks);
• Досвід роботи з технологіями «Інфраструктура як код» (IaC), як-от Terraform або AWS CloudFormation;
• Досвід роботи з реальними -часовий і пакетний потік даних і сховище даних за допомогою таких інструментів і технологій, як Airflow, Dagster, Kafka, Apache Druid, Spark, dbt тощо;
• Досконале володіння мовами програмування, пов’язаними з інженерією даних, такими як Python і SQL ;
• Досвід створення масштабованих API;
• Досвід створення генеративних додатків ШІ (наприклад, чат-ботів, систем RAG);
• Знайомство з такими аспектами управління даними, як якість , виявлення, родовід, безпека, бізнес-глосарій, моделювання, основні дані та оптимізація витрат;
• розширене або вільне володіння англійською;
• сильні навички вирішення проблем і здатність працювати разом у швидкому середовищі.

Приємно мати:

• Відповідні сертифікати AWS, GCP, Azure, Databricks;< /li>
• Знання інструментів BI (Power BI, QuickSight, Looker, Tableau тощо);
• Досвід створення рішень для даних в архітектурі Data Mesh;
• Знайомство з класичними завданнями та інструментами машинного навчання (наприклад, OCR, AWS SageMaker, MLFlow тощо).