Старший інженер з даних в Provectus

Senior Data Engineer

Київ, Одеса, Вроцлав (Польща), Єреван (Вірменія), Новий Сад (Сербія), віддалено

Про проект
Ми шукаємо талановитого та досвідченого старшого інженера з даних, щоб приєднатися до нашої команди в Provectus. У рамках нашої різноманітної практики, включаючи дані, машинне навчання, DevOps, розробку додатків і контроль якості, ви співпрацюватимете з багатопрофільною командою інженерів з обробки даних, інженерів з машинного навчання та розробників додатків. Ви зіткнетеся з численними технічними проблемами та матимете можливість зробити внесок у захоплюючі проекти з відкритим кодом (наприклад, ODD, UI для Kafka), створювати внутрішні рішення та брати участь у науково-дослідній діяльності, створюючи чудове середовище для професійного зростання.

Обов’язки:

• тісно співпрацювати з клієнтами, щоб глибше зрозуміти їхні існуючі ІТ-середовища, програми, бізнес-вимоги та цілі цифрової трансформації;
• Збирати великі обсяги різноманітних наборів даних і керувати ними;
• Працюйте безпосередньо з спеціалістами з обробки даних та інженерами ML для створення надійних і стійких конвеєрів даних, які живлять продукти даних;
• Визначити моделі даних, які об’єднують різнорідні дані в організації;
• Проектувати, впроваджувати та підтримувати конвеєри ETL;
• Розробляйте та постійно тестуйте керовані даними рішення.

Вимоги:

• 5+ років досвіду в інженерії даних;
• Досвід роботи з хмарними рішеннями (бажано AWS, також GCP або Azure);
• Досвід роботи з хмарними платформами даних (наприклад, Snowflake, Databricks);
• Володіння технологіями «Інфраструктура як код» (IaC), як-от Terraform або AWS CloudFormation;
• Досвід роботи з потоком даних у реальному часі та пакетним потоком даних і сховищ даних за допомогою таких інструментів і технологій, як Airflow, Dagster, Kafka, Apache Druid, Spark, dbt тощо;
• Володіння мовами програмування, пов’язаними з інженерією даних, як-от Python і SQL;
• Досвід створення масштабованих API;
• Досвід створення генеративних додатків ШІ (наприклад, чат-ботів, систем RAG);
• Знайомство з такими аспектами управління даними, як якість, виявлення, походження, безпека, бізнес-глосарій, моделювання, основні дані та оптимізація витрат;
• Поглиблене або вільне володіння англійською мовою;
• Сильні навички вирішення проблем і здатність працювати спільно у швидко мінливому середовищі.

Приємно мати:

• Відповідні сертифікати AWS, GCP, Azure, Databricks;
• Знання інструментів BI (Power BI, QuickSight, Looker, Tableau тощо);
• Досвід створення рішень для обробки даних в архітектурі Data Mesh;
• Знайомство з класичними завданнями та інструментами машинного навчання (наприклад, OCR, AWS SageMaker, MLFlow тощо).