Starszy inżynier danych w GM CONSULTING GROUP

Nasz klient jest liderem w sektorze wczesnej edukacji (ECE), zapewniającym najpowszechniej stosowany system oceny rozwojowej i programu nauczania w USA. Poszukują wysoko wykwalifikowanego inżyniera danych, który dołączy do ich zespołu i przyczyni się do rozwoju i utrzymania ich Data Pipelines. Będziesz odpowiedzialny za samodzielne wykonywanie zadań, wykorzystując swoją wiedzę z zakresu Python, Spark, Airflow i S3. Twoim głównym celem będzie ulepszanie i optymalizacja potoków danych oraz tworzenie i wykonywanie transformacji SQL w celu aktualizacji tabel delta Lake. Jako inżynier danych będziesz: - Opracowywać i optymalizować transformacje danych przy użyciu języków Python, Spark, Airflow, S3 i Redshift; - Twórz zapytania SQL, aby efektywnie manipulować danymi do przechowywania w tabelach delta Lake; - Zapewniaj niezawodność, skalowalność i wydajność naszych rozwiązań do przetwarzania danych; - Współpracuj z naszym starszym inżynierem danych w celu wdrażania i ulepszania potoków danych; - Niezależnie wykonuj zadania związane z budowanie, utrzymywanie i ulepszanie potoków danych.Kwalifikacje:- Ponad 5 lat praktycznego doświadczenia na stanowisku inżynierii danych lub rozwoju systemów danych;- Udokumentowana wiedza specjalistyczna w budowaniu i optymalizowaniu potoków i architektur „dużych zbiorów danych”;- Biegłość w języku Python dla przetwarzanie danych;- Duże doświadczenie w Spark, ze szczególnym uwzględnieniem PySpark;- Znajomość usług AWS, takich jak EMR, S3 i MWAA (Airflow);- Solidne zrozumienie modelowania danych, hurtowni danych i technik ETL/ELT;- Biegłość w pracy z danymi w różnych formatach, w tym danymi parkietowymi, ustrukturyzowanymi i nieustrukturyzowanymi, przechowywanymi w S3, Redshift lub innych kolumnowych bazach danych; - Wyjątkowe umiejętności współpracy z doskonałymi umiejętnościami komunikacji werbalnej i pisemnej; - Duża dbałość o szczegóły i udokumentowane doświadczenie rozwiązywanie skomplikowanych problemów. Oferujemy: - Konkurencyjne wynagrodzenie rynkowe; - Pracę w pełni zdalną; - Dogodne i dość elastyczne godziny pracy (będziesz musiał pracować do godziny 20:00 czasu kijowskiego (13:00 EST)); - 28 dni płatnego urlopu rocznie;- Praca nad bardzo wartościowym społecznie produktem w wysoce profesjonalnym, międzynarodowym zespole z siedzibą w USA;- Ciekawe wyzwania oraz możliwość rozwoju i uczenia się.