Starszy inżynier GCP w UST Ukraine

Starszy inżynier GCP

Київ, за кордоном, віддалено

UST Ukraina poszukuje starszego inżyniera GCP, który dołączy zespół naszego klienta, który przygotowuje się do zrewolucjonizowania krajobrazu danych poprzez zbudowanie najnowocześniejszej platformy Enterprise Data Lakehouse. Tworzą kluczowe zespoły ds. platform, które będą kierować tworzeniem podstawowych komponentów platformy. Zespoły te wykraczają poza tradycyjne pozyskiwanie danych; są architektami platformy opartej na mikrousługach, dostarczającymi abstrakcje, które umożliwiają innym zespołom płynne rozszerzanie platformy.

Lokalizacja: Ukraina, Polska.

Harmonogram pracy: konieczne pokrywanie się ze wschodnimi stanami USA.

Opis roli: poszukujemy dynamicznego i wysoko wykwalifikowanego inżyniera, który będzie kierował tymi podstawowymi działaniami. Ta rola wymaga kogoś, kto nie tylko posiada dogłębną wiedzę na temat inżynierii danych, ale także jest liderem w swojej dziedzinie. Idealny kandydat znacząco przyczyni się do rozwoju platformy, kierując zespołem wykonawców, jednocześnie aktywnie kształtując przyszłość naszego ekosystemu danych.

Obowiązki:

• Projektowanie i rozwijanie podstawowych komponentów platformy danych z architekturą mikrousług, platformą abstrakcyjną i zawiłościami infrastruktury.
• Twórz i utrzymuj niezbędne pakiety SDK i biblioteki platformy danych, przestrzegając najlepszych praktyk branżowych.
• Projektuj i rozwijaj struktury konektorów oraz nowoczesne konektory, aby pozyskiwać dane z różnych aplikacji zarówno lokalnie, jak i w chmurze.
• Projektuj i optymalizuj wydajność przechowywania, przetwarzania i wykonywania zapytań dla dużych zbiorów danych, korzystając z najlepszych praktyk branżowych.
• Projektuj i rozwijaj ramy i procesy jakości danych, aby zapewnić dokładność i wiarygodność danych.
• Współpracuj z analitykami danych, analitykami i zespołami wielofunkcyjnymi przy projektowaniu modeli danych, schematów baz danych i rozwiązań do przechowywania danych.
• Projektuj i rozwijaj zaawansowane możliwości analityki i uczenia maszynowego na platformie danych.
• Projektuj i rozwijaj ramy i praktyki dotyczące obserwowalności i zarządzania danymi.
• Bądź na bieżąco z najnowszymi trendami, technologiami i najlepszymi praktykami w zakresie inżynierii danych.
• Kontroluj cykle wdrażania i wydawania, zapewniając solidną i skalowalną platformę.

Wymagania :

• ponad 12 udokumentowanych doświadczeń w nowoczesnej inżynierii danych w chmurze, architekturach danych, hurtowni danych i inżynierii oprogramowania .
• Wiedza specjalistyczna w projektowaniu i budowaniu kompleksowych platform danych w środowisku GCP przy użyciu BigQuery i innych usług, przy jednoczesnym przestrzeganiu wytycznych dotyczących najlepszych praktyk, takich jak otwarte standardy, koszt, wydajność, czas wprowadzenia produktu na rynek i minimalizacja blokady dostawców < /li>
• Solidne doświadczenie w tworzeniu platform danych w środowisku GCP.
• Solidne doświadczenie w projektowaniu i rozwijaniu modułowych komponentów rozproszonej platformy danych z architekturą mikrousług. Wymagane jest duże doświadczenie z Dockerem, Kubernetesem i API.
• Biegłość w zakresie narzędzi i technologii inżynierii danych – SQL, Python, Spark, DBT, Airflow, Kafka.
• Solidne doświadczenie we wdrażaniu linii danych, jakość danych i obserwowalność danych w przypadku przepływów pracy związanych z dużymi zbiorami danych.
• Duże doświadczenie w zakresie nowoczesnego modelowania danych, architektury danych i zasad zarządzania danymi.
• Doskonałe doświadczenie z zasadami DataOps i automatyzacją testów.
• Doskonałe doświadczenie z narzędziami umożliwiającymi obserwację – Grafana i Datadog.

Miło mieć :

• doświadczenie z architekturą Data Mesh.
• Doświadczenie w tworzeniu warstw semantycznych dla platform danych.
• Doświadczenie w tworzeniu skalowalnych architektur IoT.

Oferujemy:

• Elastyczny grafik i możliwość pracy zdalnej (8-godzinny dzień pracy).
• Przyjazny, profesjonalny personel i ciepła atmosfera.
• Środowisko, w którym możesz realizować swoje pomysły.
• Płatne urlopy i zwolnienia lekarskie.
• Ubezpieczenie medyczne.
• Możliwość pracy zdalnej.
• Udział w działaniach edukacyjnych i konferencjach tematycznych.
• Imprezy zespołowe i imprezy firmowe.