Inżynier danych w Maklai company

Maklai to ukraińska firma zajmująca się produktami IT, która od ponad 15 lat opracowuje produkty turystyczne na rynek zachodni. Jednym z naszych dużych projektów jest booking.net - ogólnoświatowa witryna rezerwacji hoteli (ponad 7 milionów klientów miesięcznie z 37 krajów, w ponad 29 językach) W związku z ekspansją poszukujemy Inżyniera Danych do tworzenia i utrzymywania produktów danych z wykorzystaniem bazy danych i architektury OLAP Lakehouse. Główne zadania: Rozwój produktów danych i zmiana punktu ciężkości z programistów na Inżynierów Danych. Poprawa jakości architektury przechowywania danych w celu zapewnienia optymalnej wydajności i skalowalności. Zapewnienie szybkiego i wydajnego dostępu do danych analitycznych w wymaganym formacie i wdrażanie rozwiązań architektonicznych, z późniejszym przejściem do planowania strategicznego i przywództwa w obszarze architektury danych Wymagania: Doświadczenie z bazami danych: Głębokie zrozumienie i doświadczenie z bazami danych Clickhouse, MySQL Doświadczenie z systemami przesyłania wiadomości i przesyłania strumieniowego: Doświadczenie z różnymi platformami dla przetwarzanie wiadomości i przesyłanie strumieniowe danych, w tym między innymi Kafka (rozproszona platforma przesyłania strumieniowego) i Redis (wykorzystywana w przedsiębiorstwie do kolejkowania wiadomości). Przetwarzanie Big Data: Udokumentowane doświadczenie w zarządzaniu i przetwarzaniu danych na dużą skalę (tysiące tabel, miliardy rekordów). Umiejętności Programowanie: Biegła znajomość Pythona i SQL. Znajomość formatów Open Table: Znajomość formatów Open Table (Delta Lake, Apache Iceberg, Apache Hudi) i praktyczne doświadczenie. Doświadczenie CDC: Doświadczenie z narzędziami Change Data Capture, takimi jak Debezium). , Flink, Airbyte.Zrozumienie potoków ELT: Doświadczenie z potokami ELT, w tym Airflow, dbt, Airbyte.Wiedza i umiejętności dotyczące architektury danych: Zrozumienie podstawowych zasad projektowania i zarządzania architekturą danych, w tym modelowania danych, procesów integracji i zarządzania danymi. Chęć rozwoju w kierunku Architekta Danych będzie dodatkowym atutem: Różnorodne doświadczenie z bazami danych: Doświadczenie z innymi bazami danych OLAP, hurtowniami danych i jeziorami danych Doświadczenie z usługami kolejkowymi: Umiejętność programowania w Logstash Java: Znajomość Java. Znajomość technologii konteneryzacji (Kubernetes). Znajomość katalogów danych: Rozumienie i doświadczenie z katalogami danych (otwarte metadane, DataHub itp.) Doświadczenie ze Schema Registry: Praktyczne doświadczenie w wykorzystaniu Schema Registry do zarządzania wersjami schematów danych, zapewnienia kompatybilności i integracji schematów w przepływach danych. Znajomość zasad działania i optymalnego wykorzystania Schema Registry w kontekście systemów strumieniowego przetwarzania danych (np. Apache Kafka). Kompetencje miękkie: Otwartość na nowe technologie i chęć rozwoju: Chęć poznawania nowych technologii i chęć rozwój zawodowy Umiejętność pracy samodzielnej i zespołowej Inicjatywa w rozwiązywaniu problemów Elastyczność. Perspektywy rozwoju: Rozwój zawodowy do Data Architect: Umiejętność zarządzania procesem projektowania architektury danych, a w przyszłości zespołem inżynierów. Wsparcie szkoleniowe i rozwojowe w tym kierunku Oferujemy: Duża ilość danych i obliczeńWymagania w postaci przetwarzania tych danych w czasie zbliżonym do rzeczywistego Brak biurokracji i możliwość pracy zdalnej Przyjazny i zgrany zespół Płatne urlopy, ubezpieczenie zdrowotne Rekompensata za udział w konferencjach, spotkaniach, szkoleniach specjalistycznych Harmonogram pracy Wygodne biuro niedaleko metra Holosiivska (można pracować zdalnie).