Senior Data Engineer (Profisee MDM) в EPAM Systems

ОписНаш клієнт надає продукти страхування майна, сільського господарства, кіберризиків, бізнесу, страхування від нещасних випадків і перестрахування. Ми шукаємо старшого інженера з обробки даних, який приєднається до нашої команди. Як старший інженер з обробки даних ви відіграватимете вирішальну роль у створенні та оптимізації конвеєрів і архітектур даних, а також інтеграції даних із різних джерел. Ви відповідатимете за проектування, розробку та підтримку рішень для інтеграції даних за допомогою Azure Analytics, Azure Data Factory, Azure Databricks, Azure Pipelines та інших платформ інтеграції даних (ETL/ELT). Наш ідеальний кандидат має великий досвід роботи з даними та досвід роботи з інструментом керування основними даними Profisee. Обов’язки Розробка та впровадження рішень для інтеграції даних за допомогою Azure Analytics, Azure Data Factory, Azure Databricks і Azure Pipelines Розробка та підтримка процесів ETL/ELT для збору, перетворення та завантаження даних із різних джерел у сховища даних Оптимізація конвеєрів даних і архітектури для підвищення ефективності та масштабованості. Співпраця з міжфункціональними командами для розуміння вимог до даних і надання технічних рішень. Усунення несправностей і вирішення проблем з інтеграцією даних. Виконання валідації та перевірки якості даних для забезпечення точності та цілісності даних. Бути в курсі галузевих тенденцій і найкращих практик у розробці даних. Вимоги3+ багаторічний досвід інженера з даних із досвідом інтеграції даних Azure Analytics, Azure Data Factory, Azure Databricks, Azure Pipelines, платформи інтеграції даних (ETL/ELT), PySpark, Azure Synapse Analytics, PythonExperience, розробка та керування наскрізними конвеєрами даних , рішення ETL (Extract, Transform, Load) і ELT (Extract, Load, Transform) Здатність проектувати та створювати наскрізні рішення для обробки даних за допомогою Azure Synapse Analytics. Тверде розуміння моделювання даних, Lakehouse, сховищ даних і принципів керування даними. навички комунікації та співпраці для ефективної роботи з багатофункціональними гнучкими командами Рівень англійської мови вищий-середній, як розмовної, так і письмової (B2+) Приємно мати Microsoft SQL Server, Microsoft SQL Server Integration Services, Python, SQLРозуміння конвеєрів Azure DevOps Розуміння принципів проектування, керованого тестуванням, і Платформи Unit Test, такі як PyTestМи пропонуємо конкурентоспроможну винагороду залежно від досвіду та навичок Індивідуальна кар’єра Необмежений доступ до навчальних рішень LinkedIn Відпустка через хворобу та звичайна відпустка Курси англійської з сертифікованими вчителями англійської Гнучкий графік роботи Показати більше Показувати менше Посадовий рівень Старший середній рівень Тип зайнятості Повний робочий день Посадові обов’язки Інформаційні технології Галузі ІТ-послуги та ІТ Консалтting