Główny inżynier oprogramowania danych w EPAM Systems

Nasz klient, znana na całym świecie międzynarodowa firma technologiczna z siedzibą w Kalifornii i jedna z firm technologicznych Wielkiej Piątki, rozszerza współpracę z EPAM. Specjalizacja klienta: usługi online w zakresie oprogramowania elektroniki użytkowej. Będziesz współpracować ze światowej klasy ekspertami i technologiami od serca z Doliny Krzemowej, rozwijającej produkty i usługi, z których codziennie korzystają miliardy ludzi. Poszukujemy doświadczonego głównego inżyniera danych oprogramowania, który dołączy do naszego zespołu. Umiejętności Ponad 5 lat praktycznego doświadczenia z Big Data: Hadoop (HDFS, YARN lub Mesos). ), Spark Znajomość i praktyczne doświadczenie z SQL w kontekście Big Data: Spark SQL, Hive QLZnajomość SparkOptymalizacja planów wykonania Spark przy użyciu Spark UIDobra znajomość Scali, w tym bibliotek funkcjonalnych Scala (Cats)Znajomość podstaw przetwarzania wsadowego i ETL zasady pracy w hurtowniach danychDoświadczenie w orkiestracji danych i znajomość warunków kompletności danychDoświadczenie w czyszczeniu danych (obsługa danych uszkodzonych, błędnych i zduplikowanych)Wiedza z migracji schematów i ewolucji zbiorów danych Biegła znajomość języka angielskiego w mowie i piśmie na poziomie co najmniej B2Możliwość szybkiego uczenia się i uczenia się nowy zestaw narzędzi i technologii wykorzystanych w projekcie: platformy usług, dostawcy telemetrii, Spark-as-a-Service, zbieranie systemów i wiele więcej Obowiązki Rozwój potoków danych, zadania tworzenia nowych wyjściowych zbiorów danych w ramach rozwoju nowej funkcjonalności Dostosowanie istniejących potoków danych do integracji z różnymi platformami, narzędziami i usługami Edycja błędów w kodzie i danych, które powstały w wyniku nieprawidłowej logiki lub wdrożenia Szybka analiza i badania danych w celu wsparcia zespołu zarządzającego produktem Monitorowanie i eliminowanie problemów produkcyjnych z istniejącymi danymi potoki Opracowywanie i wdrażanie kontroli danych jakościowych (kontrola jakości) Planowanie zakresu nowych rozwiązań: szacowanie wymaganych zasobów, planowanie ram czasowych zadań Zarządzanie we wszystkich aspektach: jakość kodu, złożoność, utrzymanie, dokumentacja Komunikowanie się z innymi inżynierami danych w zakresie zespół, współpracownicy i kierownicy projektów w zakresie statusu, problemów, szacunków, ram czasowych itp. będą dodatkowym atutem. Zrozumienie pomysłów i zasad programowania funkcjonalnego. Doświadczenie w pisaniu i korzystaniu z usług sieciowych. Doświadczenie w pracy z Teradata, Vertica, Oracle lub Tableau. Doświadczenie z Spark Streaming i KafkaDoświadczenie lub znajomość technologii: Apache Iceberg, Trino (Presto), Druid, Cassandra, Blob Storage np. AWSDoświadczenie ze SplunkWiedza lub doświadczenie z Azkabanem lub AirflowJesteśmy Ty możesz Pracować według elastycznego grafiku zdalnie lub w dowolnym z naszych komfortowe biura lub przestrzenie coworkingowe na Ukrainie Zdobądź niezbędny sprzęt do wykonywania zadań zawodowych Zmień projekty i stos technologiczny w ramach EPAM Zdobądź doświadczenie w różnych obszarach biznesowych (Ubezpieczenia, E-commerce, Opieka zdrowotna, Finanse, Podróże, Media, Sztuczna inteligencja i inne ) Rozważ opcje relokacji do ponad 30 krajów świata. Dołącz do programów wolontariackich, charytatywnych i społeczności (zgodnie zkierunki techniczne, a także według zainteresowań) Pomożemy Ci w rozwoju zawodowym Zaplanuj wraz z menadżerem indywidualną ścieżkę kariery Otrzymuj regularne informacje zwrotne od współpracowników Bezpłatnie doskonal swój angielski pod okiem certyfikowanych lektorów (Kluby Speaking, kursy przygotowania do rozmów kwalifikacyjnych z klientami, itp.) Uzyskaj możliwość odbycia bezpłatnych szkoleń i certyfikacji z AWS, GCP lub Azure Clouds Skorzystaj z wewnętrznego programu szkoleniowego E-learn (ponad 18 200 specjalistycznych programów szkoleniowych i mentoringowych) Uzyskaj dostęp do kont firmowych na LinkedIn Learning, Get Abstract i innym partnerze zasoby Ucz się w Solution Architecture School, praktykując architektów jako nauczycieli. Rozwijaj się jako lider, dołącz do szkół zarządzania dostawami, zarządzania zasobami, przywództwa Essentials i innych. Ucz się w społecznościach wewnętrznych (ponad 500 spotkań, dyskusji technicznych, sesji burzy mózgów, wydarzeń i konferencji online co roku rok) Co oferujemy Urlop i dni chorobowe (w tym bez zaświadczeń lekarskich) Szeroka oferta programów ubezpieczeniowych Dobrowolnego Ubezpieczenia Medycznego (VMI) obejmująca zarówno leczenie, jak i różne opcje profilaktyczne (w tym zajęcia sportowe) Wystawianie ubezpieczenia medycznego dla członków rodziny według stawek korporacyjnych Wsparcie firmy podczas ważnych wydarzeń życiowych (narodziny lub adopcja dziecka, ślub itp.) Wsparcie komfortu psychicznego: zniżki na usługi specjalistów lub trenerów zdrowia psychicznego, szkolenia tematyczne E-kids - a bezpłatny program szkoleniowy dla dzieci EPAM-owców w językach programowania Przyjemne prezenty firmowe O EPAMERAM stara się zapewnić swojemu globalnemu zespołowi składającemu się z ponad 60 000 specjalistów w ponad 45 krajach możliwości rozwoju zawodowego od pierwszego dnia współpracy. Źródłem sukcesu ERAM są nasi współpracownicy, dlatego cenimy współpracę, zawsze staramy się zrozumieć biznes naszych klientów i dążymy do najwyższych standardów jakości. Bez względu na to, gdzie jesteś, dołączysz do oddanej, zróżnicowanej społeczności, która pomoże Ci osiągnąć pełny potencjał Pokaż więcej Pokaż mniej Poziom pozycji Poziom średni starszy Rodzaj zatrudnienia Pełny etat Odpowiedzialność zawodowa Inżynieria i technologie informacyjne Przemysły Usługi informatyczne i doradztwo informatyczne