Starszy inżynier danych w Lyft

30 sierpnia 2024 r

Starszy inżynier danych

Київ, віддалено

Naszą misją w Lyft jest poprawianie życia ludzi dzięki najlepszym transportom na świecie. Aby to zrobić, zaczynamy od naszej własnej społeczności, tworząc otwartą, włączającą i zróżnicowaną organizację.

W Lyft dane to jedyny sposób, w jaki podejmujemy decyzje. Jest to rdzeń naszej działalności, pomagający nam tworzyć doświadczenia transportowe dla naszych klientów i zapewniający wgląd w skuteczność wprowadzenia i funkcji naszych produktów.

Jako inżynier danych w Lyft będziesz częścią zespołu na wczesnym etapie, który zajmuje się transportem, gromadzeniem i przechowywaniem danych oraz udostępnia usługi, dzięki którym dane stają się pierwszorzędnym obywatelem w Lyft. Poszukujemy inżyniera danych do zbudowania skalowalnej platformy danych. Będziesz aktywnie proponować nowe pomysły, oceniać wiele podejść i wybierać najlepsze w oparciu o podstawowe cechy i dane potwierdzające. Komunikuj problemy techniczne, współpracując z naszym interdyscyplinarnym zespołem. Będziesz właścicielem naszego podstawowego potoku danych, który zasila najważniejsze wskaźniki Lyft; Wykorzystasz także wiedzę specjalistyczną dotyczącą danych, aby pomóc w rozwijaniu modeli danych w kilku komponentach stosu danych; Pomożesz w projektowaniu, budowaniu i uruchamianiu skalowalnych potoków danych, aby zaspokoić rosnące potrzeby Lyft w zakresie przetwarzania i analityki danych. Twoje wysiłki umożliwią dostęp do statystyk biznesowych i zachowań użytkowników, wykorzystując ogromne ilości danych Lyft do zasilania różnych zespołów, takich jak analityka, analityka danych, inżynieria i wiele innych.

Obowiązki:

• Właściciel głównego potoku danych firmy, odpowiedzialny za skalowanie przepływu przetwarzania danych w celu dostosowania do szybkiego wzrostu ilości danych w Lyft
• Rozwijaj model danych i schemat danych w oparciu o potrzeby biznesowe i inżynieryjne
• Wdrażaj i wdrażaj systemy śledzące jakość i spójność danych
• Proponuj i rozwijaj narzędzia wspierające samoobsługowe zarządzanie potokiem danych (ETL)< /li>
• Dostosowywanie zadań SQL i MapReduce w celu poprawy wydajności przetwarzania danych
• Opracuj plan rozwoju technologii zespołu DE i dostosuj go do zespołu i interesariuszy
• Twórz dobrze wykonane, dobrze -przetestowany, czytelny i łatwy w utrzymaniu kod z uwzględnieniem kosztów infrastruktury danych i skalowalności
• Weź udział w przeglądach kodu, aby zapewnić jakość kodu i rozpowszechniaj wiedzę
• Weź udział w rotacjach telefonicznych, aby zapewnić wysoką dostępność i niezawodność przepływów pracy i danych
• Odblokuj, wspieraj i komunikuj się z partnerami wewnętrznymi i zewnętrznymi, aby osiągać wyniki

Doświadczenie:

• 5 + lata odpowiedniego doświadczenia zawodowego
• Duże doświadczenie ze Sparkiem
• Doświadczenie z Hadoop (lub podobnym) ekosystemem, S3, DynamoDB, MapReduce, Yarn, HDFS, Hive, Spark, Presto, Pig , HBase, Parquet
• Dobra znajomość języka skryptowego (Python, Bash itp.)
• Doświadczenie w kierowaniu budowaniem złożonych modeli danych i potoków
• Biegłość w: co najmniej jeden z języków SQL (MySQL, PostgreSQL itp.)
• Ponad 4 lata doświadczenia z narzędziami do zarządzania przepływem pracy (Airflow lub podobnymi)
• Doświadczenie w bezpośredniej pracy z danymi wielofunkcyjnymi analitycy, badacze danychi zespoły inżynierów, aby połączyć cele biznesowe Lyft z inżynierią danych
• Preferowane doświadczenie w budowaniu i utrzymywaniu tabel danych związanych z obsługą klienta jako inżynier danych w dużych organizacjach

Korzyści:

• Najnowsza technologia i sprzęt, którego potrzebujesz
• 28 dni kalendarzowych na wakacje i do 5 płatnych dni wolnych
• 18 tygodni płatnego urlopu rodzicielskiego. Kwalifikują się wszyscy rodzice biologiczni, adopcyjni i zastępczy
• Świadczenia w zakresie zdrowia psychicznego
• Świadczenia z tytułu budowania rodziny

Na Ukrainie ta rola jest całkowicie odległa, kandydaci do ta rola musi znajdować się na Ukrainie.