Starszy programista Databricks (m/f/d/v) (ID: 1300) w Infopulse

30 sierpnia 2024 r

Starszy programista Databricks (m/f/d/v) (ID: 1300)

Київ, Львів, Вінниця, Івано-Франківськ, Житомир, Бидгощ (Польща), Гдан ськ ( Польща), Варшава (Польща), Лодзь (Польща)

Infopulse, część Tietoevry Create, poszukuje wykwalifikowanego i doświadczonego starszego programisty Databricks , aby dołączyć do naszego rosnącego zespołu. Nasz klient to jedna z wielkiej czwórki firm świadczących usługi audytu, doradztwa podatkowego, konsultingowego i finansowego

Obszary odpowiedzialności

• Kierowanie migracją zasobów danych i obciążeń ze starszych wersji Środowiska Databricks w Databricks Unity Catalog
• Projektuj, rozwijaj i utrzymuj skalowalne procesy ETL przy użyciu Databricks, PySpark (Scala lub Python) i innych odpowiednich technologii
• Zapewnij bezproblemową integrację danych i zgodność z standardy zarządzania danymi podczas procesu migracji
• Optymalizuj i rozwiązuj złożone zapytania SQL na potrzeby wyodrębniania, przekształcania i ładowania danych w nowym środowisku Databricks UC
• Współpracuj z zespołami wielofunkcyjnymi, aby zrozumieć migrację wymagania i dostarczaj wysokiej jakości rozwiązania w zakresie danych
• Monitoruj wydajność, niezawodność i skalowalność nowego środowiska Databricks Unity Catalog po migracji
• Zapewnij wsparcie administracyjne i zarządzanie konfiguracją dla platformy Databricks , zapewniając najlepsze praktyki w zakresie bezpieczeństwa i zarządzania danymi

Kwalifikacje

• Ponad 3 lata doświadczenia w tworzeniu Databricks, w tym znaczące doświadczenie w administrowaniu Databricks
• Udokumentowane doświadczenie w pomyślnej migracji środowisk danych do Databricks Unity Catalog lub podobnych platform
• Duże doświadczenie z PySpark (Scala lub Python) do tworzenia i optymalizacji potoków danych
• Biegła znajomość SQL , z zaawansowanymi umiejętnościami w zakresie optymalizacji zapytań i dostrajania wydajności
• Znajomość Azure Data Factory i innych narzędzi ETL opartych na chmurze
• Solidne zrozumienie koncepcji hurtowni danych, zarządzania danymi i najlepszych praktyk w środowisko chmurowe
• Silne umiejętności rozwiązywania problemów i dbałość o szczegóły, szczególnie w scenariuszach migracji
• Doskonałe umiejętności komunikacyjne wraz ze zdolnością do współpracy z interesariuszami technicznymi i nietechnicznymi