Główny inżynier danych w N-iX

Nasz klient przygotowuje się do zrewolucjonizowania naszego krajobrazu danych, budując najnowocześniejszą platformę Enterprise Data Lakehouse. Tworzymy wiele zespołów, które będą kierować tworzeniem podstawowych komponentów platformy. Zespoły te wykraczają poza tradycyjne pozyskiwanie danych; są architektami platformy opartej na mikrousługach, dostarczającymi abstrakcje, które umożliwiają innym zespołom płynne rozszerzanie platformy.

Poszukujemy dynamicznego i wysoko wykwalifikowanego inżyniera danych, który ma rozległe doświadczenie w budowaniu samoobsługowych platform danych na skalę korporacyjną z architekturą mikrousług i kieruje tymi podstawowymi działaniami. Ta rola wymaga kogoś, kto nie tylko posiada głębokie zrozumienie
krajobrazu inżynierii danych, ale także ma bardzo silne doświadczenie w inżynierii oprogramowania, szczególnie w budowaniu frameworków i architektur mikrousług. Idealny kandydat będzie indywidualnym współpracownikiem, a także liderem technicznym i wniesie znaczący wkład w rozwój platformy i aktywnie kształtuje nasz ekosystem danych.

Wymagania:

• Wcześniejsze doświadczenie w projektowaniu i budowaniu skutecznych samoobsługowych platform danych na skalę korporacyjną w środowisku od podstaw z architekturą opartą na mikrousługach.
• Biegłość w budowaniu kompleksowych platform danych i usług danych w GCP jest koniecznością.
• Biegłość w narzędziach i technologiach: BigQuery, Cloud Functions, Cloud Run, Dataform, Dataflow, Dataproc, SQL, Python, Airflow, PubSub.
• Doświadczenie z architekturami Mikrousług - Kubernetes, Docker. Nasze mikrousługi budowane są przy użyciu stosu TypeScript, NestJS, NodeJS. Preferuj kandydatów z tym doświadczeniem.
• Doświadczenie w tworzeniu warstw firmy Symantec.
• Biegłość w architekturze i projektowaniu oraz doświadczenie w programowaniu z infrastrukturą i obciążeniami do przesyłania strumieniowego w trybie wsadowym i w czasie rzeczywistym.
• Solidne doświadczenie w projektowaniu i wdrażaniu zarządzania metadanymi, w tym katalogami danych, pochodzeniem danych, jakością danych i obserwowalnością danych w przepływach pracy z dużymi zbiorami danych
• Praktyczne doświadczenie z ekosystemem GCP i architekturami Data Lakehouse.
• Dogłębne zrozumienie zasad modelowania danych, architektury danych i zarządzania danymi.
• Doskonałe doświadczenie z zasadami DataOps i automatyzacją testów.
• Doskonałe doświadczenie z narzędziami do obserwacji: Grafana, Datadog.

Nasz klient przygotowuje się do zrewolucjonizowania naszego krajobrazu danych, budując najnowocześniejszą platformę Enterprise Data Lakehouse. Tworzymy wiele zespołów, które będą kierować tworzeniem podstawowych komponentów platformy. Zespoły te wykraczają poza tradycyjne pozyskiwanie danych; są architektami platformy opartej na mikrousługach, dostarczającymi abstrakcje, które umożliwiają innym zespołom płynne rozszerzanie platformy.

Poszukujemy dynamicznego i wysoko wykwalifikowanego inżyniera danych, który ma rozległe doświadczenie w budowaniu samoobsługowych platform danych na skalę korporacyjną z architekturą mikrousług i kieruje tymi podstawowymi działaniami. Ta rola wymaga kogoś, kto nie tylko posiada głębokie zrozumienie
krajobrazu inżynierii danych, ale także posiada bardzo mocne oprogramowaniewykształcenie inżynieryjne, specjalizujące się w budowaniu frameworków i architektur mikrousług. Idealny kandydat będzie indywidualnym współpracownikiem, a także liderem technicznym i wniesie znaczący wkład w rozwój platformy i aktywnie kształtuje nasz ekosystem danych.

,[Projektuj i buduj od podstaw w środowisku od podstaw samoobsługowe platformy danych na skalę korporacyjną, korzystając z architektury opartej na mikrousługach., Projektuj i wdrażaj architektury mikrousług. Twórz struktury i komponenty mikrousług, które zapewniają abstrakcje umożliwiające bezproblemową rozbudowę przez inne zespoły. Twórz i integruj warstwy firmy Symantec w ramach platformy danych w celu zwiększenia funkcjonalności i wydajności. Projektuj i rozwijaj infrastrukturę do obsługi obciążeń danymi wsadowymi i strumieniowymi w czasie rzeczywistym, zapewniając wydajność i skalowalność przetwarzanie danych., Wdrażaj kompleksowe rozwiązania do zarządzania metadanymi, w tym katalogi danych, pochodzenie danych, jakość danych i możliwość obserwowania danych na potrzeby przepływów pracy z dużymi zbiorami danych., Wykorzystuj praktyczne doświadczenie z ekosystemem GCP do tworzenia i utrzymywania architektur Data Lakehouse obsługujących dane firmy strategii., Wdrażaj zasady DataOps i automatyzuj procesy testowania, aby zapewnić ciągłą integrację, dostarczanie i wdrażanie rozwiązań w zakresie danych., Rozwijaj i używaj narzędzi obserwowalności, takich jak Grafana i Datadog, do monitorowania wydajności platformy i zapewniania niezawodności systemu., Działaj zarówno jako indywidualny współpracownik, jak i lider techniczny, kierujący rozwojem platformy i kształtujący ekosystem danych. Zapewniaj opiekę mentorską i wskazówki innym inżynierom w zespole. Ściśle współpracuj z wieloma zespołami, aby dostosować rozwój platformy do celów biznesowych i wymagań technicznych. Ułatwiaj bezproblemową integrację i rozszerzanie komponentów platformy przez inne zespoły.] Narzędzia: GCP, BigQuery, architektura Microservices, Python, Docker, SQL, Airflow, Kubernetes, TypeScript, NestJS Інструменти: Agile, Scrum. Korzyści: Elastyczne godziny pracy i możliwość pracy zdalnej, Program mentoringowy, Ubezpieczenie na życie, Budżet szkoleniowy, Lekcje języka angielskiego, Wynagradzanie certyfikatów, Aktywna społeczność technologiczna, Międzynarodowy zespół, Program poleceń, Kawiarnia, Nowoczesne biuro, Darmowa kawa, Kuchnia, Przyjazna atmosfera .