Senior Databricks Developer (m/f/d/v) (ID: 1300) в Infopulse

30 сентября 2024 г.

Старший разработчик Databricks (м/ж/д/в) (ID: 1300)

Киев, Львов, Винница, Ивано-Франковск, Житомир, Бидгощ (Польша), Гданьск ( Польща), Варшава (Польща), Лодзь (Польща)

Infopulse, часть Tietoevry Create, ищет квалифицированного и опытного старшего разработчика Databricks , чтобы присоединиться к нашей растущей команде. Наш клиент входит в большую четверку компаний, предоставляющих услуги по аудиту, налогообложению, консалтингу и финансовому консультированию.

Области ответственности

• Руководить миграцией данных и рабочих нагрузок из устаревших систем Среды Databricks в Databricks Unity Catalog.
• Проектируйте, разрабатывайте и обслуживайте масштабируемые процессы ETL с использованием Databricks, PySpark (Scala или Python) и других соответствующих технологий.
• Обеспечьте плавную интеграцию данных и соответствие требованиям стандарты управления данными в процессе миграции.
• Оптимизация и устранение неполадок сложных SQL-запросов для извлечения, преобразования и загрузки данных в новой платформе Databricks UC.
• Сотрудничество с межфункциональными группами для понимания процесса миграции. требованиям и предоставлять высококачественные решения для обработки данных.
• Отслеживать производительность, надежность и масштабируемость новой среды Databricks Unity Catalog после миграции.
• Обеспечивать административную поддержку и управление конфигурацией платформы Databricks.

Квалификация

• 3+ года опыта в разработке Databricks, включая значительный опыт администрирования Databricks
• Подтвержденный опыт успешной миграции сред данных в каталог Databricks Unity или аналогичные платформы.
• Большой опыт работы с PySpark (Scala или Python) для создания и оптимизации конвейера данных.
• Знание SQL. с расширенными навыками оптимизации запросов и настройки производительности.
• Знакомство с Azure Data Factory и другими облачными инструментами ETL.
• Глубокое понимание концепций хранилищ данных, управления данными и передовых практик в облачная среда
• Хорошие способности к решению проблем и внимание к деталям, особенно в сценариях миграции.
• Отличные коммуникативные навыки, способность работать совместно с техническими и нетехническими заинтересованными сторонами.
• li>