Старший розробник Databricks (м/ж/д/в) (ID: 1300) в Infopulse

30 серпня 2024 р

Senior Databricks Developer (m/f/d/v) (ID: 1300)

Київ, Львів, Вінниця, Івано-Франківськ, Житомир, Бідгощ (Польща), Гданськ ( Польща), Варшава (Польща), Лодзь (Польща)

Infopulse, частина Tietoevry Create, шукає кваліфікованого та досвідченого старшого розробника Databricks , щоб приєднатися до нашої зростаючої команди. Наш клієнт — одна з компаній «великої четвірки», які надають послуги з аудиту, оподаткування, консалтингу та фінансових консультацій.

Сфери відповідальності

• Керівництво міграцією активів даних і робочих навантажень із застарілих версій Середовища Databricks до каталогу Databricks Unity
• Проектування, розробка та підтримка масштабованих процесів ETL за допомогою Databricks, PySpark (Scala або Python) та інших відповідних технологій
• Забезпечення безперебійної інтеграції даних і відповідності стандарти керування даними під час процесу міграції
• Оптимізація та усунення несправностей складних запитів SQL для вилучення, перетворення та завантаження даних у новій структурі Databricks UC
• Співпраця з багатофункціональними командами, щоб розуміти міграцію вимоги та надання високоякісних рішень для обробки даних
• Відстеження продуктивності, надійності та масштабованості нового середовища Databricks Unity Catalog після міграції
• Забезпечення адміністративної підтримки та керування конфігурацією для платформи Databricks

Кваліфікація

• 3+ роки досвіду розробки Databricks, включаючи значний досвід адміністрування Databricks
• Підтверджена історія успішної міграції середовищ даних до Databricks Unity Catalog або подібних платформ
• Значний досвід роботи з PySpark (Scala або Python) для створення й оптимізації конвеєрів даних
• Вміння працювати з SQL
• Знайомство з Azure Data Factory та іншими хмарними інструментами ETL.
• Тверде розуміння концепцій сховищ даних, керування даними та передових практик у хмарне середовище
• Сильні здібності до вирішення проблем і увага до деталей, особливо в сценаріях міграції
• Відмінні навички спілкування зі здатністю співпрацювати з технічними та нетехнічними зацікавленими сторонами
• li>