Starszy inżynier danych w Impressit

Starszy inżynier danych віддалено Impressit poszukuje starszego inżyniera danych, który dołączy do zespołu AI/ML pracującego nad w pełni autonomiczną platformą transakcyjną AI. Czego się spodziewasz? — Biegłość w języku Python do tworzenia oprogramowania. —Doświadczenie z bazami danych SQL i NoSQL. — Znajomość technik zarządzania danymi, takich jakMapReduce, partycjonowanie i Spark. —Doświadczenie z narzędziami do pozyskiwania danych, takimi jak Kafka, Flume lub Sqoop. —Znajomość MapReduce w zakresie rozproszonego przetwarzania danych. —Zrozumienie technik partycjonowania baz danych. —Doświadczenie z Apache Spark do przetwarzania danych na dużą skalę. — Znajomość funkcji Feature Store do zarządzania funkcjami uczenia maszynowego. —Doświadczenie w zapewnianiu odtwarzalności inżynieryjnej w potokach danych. -Umiejętność pisania i wykonywania testów jednostkowych. — Doświadczenie w obsłudze błędów, aby zapewnić odporność na awarie i niezawodność systemów transakcyjnych. — Biegłość w kierowaniu grafami acyklicznymi (DAG) przy użyciu narzędzia Airflow lub Prefect do orkiestracji przepływu pracy. — Znajomość MLFlow do zarządzania eksperymentami uczenia maszynowego. — Biegłość w programie Docker w zakresie konteneryzacji. —Doświadczenie z usługami AWS, takimi jak S3 i Lambda, do wdrażania w chmurze. —Wyższy średniozaawansowany lub wyższy poziom języka angielskiego. — Licencjat lub wyższy, preferowany inżynieria oprogramowania lub dziedzina pokrewna. Co zrobisz? — Koncentruje się na DataOps od przyjęcia do wdrożenia. —Utrzymanie i ulepszanie rurociągów handlowych. — Połącz różne źródła danych za pomocą interfejsu API lub zeskrobuj je w pojedyncze źródło prawdy. — Opracuj magazyn funkcji i zautomatyzuj czyszczenie, przetwarzanie, inżynierię i monitorowanie zasp. —Opracuj pochodzenie danych dla każdej funkcji, a także zapewnij integralność funkcji za pomocą technik pobierania odcisków palców danych. — Pracuj z danymi wsadowymi i strumieniowymi oraz redukuj anomalie w danych organizacji i różnych źródłach danych finansowych. —Twórz, utrzymuj i ulepszaj potoki danych przy użyciu platform DataOps, MLOps i AIOps. —Praca z pełnym pakietem infrastruktury danych i modeli oraz integracji, np. SageMaker Studio. A co z naszymi korzyściami? —Duży czas urlopu: 24 dni w roku; —Budżet na kształcenie i szkolenie zawodowe; —Pełna rekompensata podatkowa; —Wydarzenia integracyjne WOW; —Biuro w centrum Lwowa; —Płatne zwolnienia lekarskie; Czekamy na Ciebie, aby dołączyć do naszego zespołu WOW!