Inżynier danych (Spark) @ GetInData | Część Xebii w GetInData | Part of Xebia

Pracujemy nad opracowaniem nowoczesnej platformy do gromadzenia i analizy metadanych rodowodowych. Jako inżynier danych będziesz ściśle współpracować z zespołami GetInData i klientami przy tworzeniu i utrzymywaniu specyfikacji oraz integracji narzędzi takich jak Apache Airflow, Flink czy Spark, a także rozwijaniu usługi Marquez do gromadzenia, agregacji i wizualizacji metadanych pochodzenia . Publiczne środowiska GitHub i dyskusje otwarte dla reszty świata ograniczają liczbę spotkań do minimum. Bardzo dobra znajomość Java lub Pythona lub obu Doświadczenie w pracy z bazami danych lub systemami przetwarzania danych Dobra znajomość SQL Doświadczenie w pracy ze Sparkiem Znajomość Big Data Landscape Możliwość samodzielnej pracy i skupienia się na istotnych funkcjach Dobra znajomość języka angielskiego B2/C1 - umiejętność wyrażania złożonych pomysłów zarówno w tekście, jak i w mowie Doświadczenie jako współpracownik społeczności open source będzie dodatkowym atutem Możliwość aktywnego uczestniczenia/prowadzenia dyskusji z klientami w celu identyfikacji i oceny konkretnych i ambitnych ścieżek ulepszeń Pracujemy nad opracowaniem nowoczesnej platformy do gromadzenia i analizy metadanych rodowodu. Jako inżynier danych będziesz ściśle współpracować z zespołami GetInData i klientami przy tworzeniu i utrzymywaniu specyfikacji oraz integracji narzędzi takich jak Apache Airflow, Flink czy Spark, a także rozwijaniu usługi Marquez do gromadzenia, agregacji i wizualizacji metadanych pochodzenia . Publiczne środowiska GitHub i dyskusje otwarte dla reszty świata ograniczają liczbę spotkań do minimum. ,[Współpraca z GetInData i zespołami klientów oraz społecznością open source w celu identyfikacji wymagań i ich realizacji, Pisanie prostego, zrozumiałego, testowalnego i wydajnego kodu z naciskiem na solidną stabilność techniczną i doskonałe doświadczenie użytkownika, Współpraca z interesariuszami w celu zrozumienia wymagań funkcjonalnych projektu i cele z punktu widzenia przetwarzania danych, Zapewnienie zgodności ze standardami i przepisami branżowymi w zakresie bezpieczeństwa, prywatności danych stosowanych w warstwie przetwarzania danych, Definiowanie i wdrażanie środków bezpieczeństwa zgodnie z najlepszymi praktykami, Zapewnienie zgodności ze standardami i przepisami branżowymi] Wymagania: Java , SQL, Spark, Python Narzędzia: Jira, GitLab, GIT, Jenkins/GitLab, Agile. Dodatkowo: Abonament sportowy, Prywatna opieka zdrowotna, Płaska struktura, Małe zespoły, Projekty międzynarodowe, Imprezy zespołowe, Budżet szkoleniowy, Bezpłatna kawa, Siłownia, Parking dla rowerów, Pokój zabaw, Darmowe przekąski, Darmowe napoje, Treningi wewnętrzne, Startupowa atmosfera, Bez dress code'u , Kuchnia.