Inżynier danych w Maklai

29 sierpnia 2024 r

Inżynier danych

Kijów

Maklai to ukraińska firma zajmująca się produktami IT, która opracowuje produkty od ponad 15 lat zachodni rynek w zakresie podróży. Jednym z naszych dużych projektów jest booking.net, ogólnoświatowa witryna rezerwacji hoteli (ponad 7 milionów klientów miesięcznie z 37 krajów i 29+ języków).

W związku z ekspansją poszukujemy Inżyniera Danych do tworzenia i utrzymywania Data Products z wykorzystaniem bazy danych OLAP i architektury Data Lakehouse.

Główne zadania:

• Rozwój produktów opartych na danych i zmiana akcentu z twórców oprogramowania na inżynierów danych.
• Poprawa jakości architektury przechowywania danych w celu uzyskania optymalnej wydajności i skalowalności.
• Zapewnienie szybkiego i skutecznego dostępu do danych analitycznych w wymaganym formacie.
• Aktywny udział w opracowywaniu i wdrażaniu rozwiązań architektonicznych, z dalszym przejściem do planowania strategicznego i przywództwem w obszarze architektury danych.

Wymagania:

• Doświadczenie w pracy z bazami danych: Głębokie zrozumienie i doświadczenie w pracy z danymi z baz danych z Clickhouse, MySQL.
• Doświadczenie z systemami przesyłania wiadomości i przesyłania strumieniowego: Doświadczenie z różnymi platformami do przesyłania wiadomości i przesyłania strumieniowego, w tym między innymi Kafka (platforma rozproszonego przesyłania strumieniowego) i Redis (używana w firmie do przesyłania wiadomości) .
• Przetwarzanie dużych zbiorów danych: udokumentowane doświadczenie w zarządzaniu i przetwarzaniu danych na dużą skalę (tysiące tabel, miliardy rekordów).
• Umiejętności programowania: Umiejętność pracy z Pythonem i SQL.
• Znajomość formatów otwartych stołów: Znajomość formatów otwartych stołów (Delta Lake, Apache Iceberg, Apache Hudi) i praktyczne doświadczenie.
• Doświadczenie z CDC: Doświadczenie z narzędziami do przechwytywania zmian danych, takimi jak Debezium, Flink, Airbyte.
• Znajomość rurociągów ELT: Doświadczenie z rurociągami ELT, w tym Airflow, dbt, Airbyte.
• Wiedza i umiejętności dotyczące architektury danych: Zrozumienie podstawowych zasad projektowania architektury danych i zarządzania nią, w tym modelowania danych, procesów integracji i zarządzania danymi. Chęć rozwoju w kierunku Architekta Danych.

Będzie dodatkowym atutem:

• Różne doświadczenia z bazami danych: Doświadczenie z innymi bazami danych OLAP dane, hurtownie danych i jeziora danych.
• Doświadczenie w obsłudze kolejek: Logstash
• Umiejętność programowania w języku Java: Znajomość języka Java.
• Znajomość konteneryzacji: Znajomość technologii konteneryzacji (Kubernetes).
• Znajomość katalogów danych: Zrozumienie i doświadczenie z katalogami danych (otwarte metadane, DataHub itp.)
• Doświadczenie w zakresie Schema Registry: Praktyczne doświadczenie w korzystaniu z rejestru schematów do zarządzania wersjami schematów danych, zapewniania zgodności i integrowania schematów z przepływami danych. Znajomość zasad działania i optymalnego wykorzystania Schema Registry w kontekście systemów strumieniowego przetwarzania danych (np. Apache KafkA).

Kompetencje miękkie:

• Otwartość na nowe technologie i chęć rozwoju: Gotowość do nauki nowe technologie i chęć rozwoju zawodowego.
• Umiejętność pracy samodzielnej i w zespole.
• Inicjatywa w rozwiązywaniu problemów.
• Elastyczność.

Perspektywy rozwoju:

• Rozwój zawodowy do Architekta Danych: Umiejętność zarządzania architekturą danych procesie projektowania, a w przyszłości przez zespół inżynierów. Wsparcie szkoleń i rozwoju w tym kierunku.

Oferujemy:

• Dużą ilość danych i moc obliczeniową.
• Wymogi w postaci przetwarzania tych danych w czasie zbliżonym do rzeczywistego.
• Brak biurokracji i możliwość pracy zdalnej.
• Przyjazny i zgrany zespół.
• Płatne urlopy, zwolnienia lekarskie, ubezpieczenie zdrowotne.
• Wynagrodzenie za udział w konferencjach, spotkaniach, szkoleniach specjalistycznych.
• Elastyczny grafik pracy.
• Komfortowe biuro niedaleko stacji metra Holosiivska (możliwość pracy zdalnej).