Starszy inżynier danych w Abto Software

Starszy inżynier danych Львів Poszukujemy utalentowanego i oddanego starszego inżyniera danych, który dołączy do naszego zespołu. Idealny kandydat będzie instrumentalnie kształtował naszą architekturę danych, integrował różnorodne źródła danych i zapewniał skalowalność, solidność i aktualność naszych potoków danych. Dzięki dokładnemu zrozumieniu nowoczesnych technologii stosów danych pokonasz liderów naszych wysiłków na rzecz usprawnienia naszych inicjatyw w zakresie analityki, uczenia maszynowego i inteligencji biznesowej. Główne obowiązki: Projektowanie, konstruowanie, instalowanie i konserwacja wielkoskalowych rurociągów przetwarzania danych i innej infrastruktury. Ustal strategię dotyczącą danych, wybierając, projektując i integrując najnowocześniejsze rozwiązania bazodanowe. Buduj, optymalizuj i utrzymuj procesy ETL/ELT przy użyciu nowoczesnych narzędzi i platform. Zapewnij integrację danych z różnych źródeł, pamiętając o ich dokładności, wiarygodności i aktualności. Optymalizuj operacje bazy danych w celu uzyskania maksymalnej wydajności, w tym monitorowania, rozwiązywania problemów i ulepszania istniejących systemów. Współpracuj z analitykami danych, MLengineerami i innymi zainteresowanymi stronami, aby wspierać ich potrzeby w zakresie infrastruktury danych. Współpracuj z innymi zespołami technicznymi w celu wyodrębniania, przekształcania i ładowania danych z szerokiej gamy źródeł danych. Wdrażaj środki bezpieczeństwa, aby zapewnić ochronę danych i zgodność z odpowiednimi przepisami i najlepszymi praktykami. Bądź na bieżąco z najnowszymi trendami technologicznymi, oceniając i wdrażając nowe systemy i narzędzia zgodnie z wymaganiami. Kompetencje twarde: Licencjat/Magister w dziedzinie informatyki, inżynierii lub pokrewnej dziedzinie technicznej. Ponad 7 lat doświadczenia w roli inżyniera danych. Ponad 7 lat doświadczenia z platformami magazynowania w chmurze, takimi jak Redshift lub BigQuery. Ponad 4 lata doświadczenia z platformami do orkiestracji danych, takimi jakAirflow, Prefect lubDagster. Ponad 3 lata doświadczenia w projektowaniu i budowaniu rozwiązań Big Data w chmurze, w szczególności tych, które wykorzystują technologie Data Lakehouse, ze szczególnym uwzględnieniem optymalizacji wydajności i partycjonowania. Ponad 2 lata doświadczenia w frameworku przepływu pracy atransformation, takim jak dbt lubSQLMesh. Duża wiedza i doświadczenie w zakresie jezior danych, jezior delta i domów z jeziorami danych. Dobra znajomość SQL i języków skryptowych (Python, Scala, Java itp.). Dobra znajomość strategii hurtowni danych, w tym Inmon, Kimball i Data Vault. Doświadczenie w zakresie jakości danych, najlepiej przy użyciu platformy takiej jak Great Hopeations. Doświadczenie w sektorze opieki zdrowotnej lub zdrowia behawioralnego. Udokumentowane doświadczenie w projektowaniu i wdrażaniu infrastruktury danych na dużą skalę. Nasze korzyści: Promocja zawodowa i rozwój kariery; Konkurencyjne wynagrodzenie; Płatne urlopy i zwolnienia lekarskie; Wewnętrzny program medyczny; Program dla weteranów (obejmujący opiekę mentorską, dostępny gabinet dla osób niepełnosprawnych, wsparcie prawne i dodatkowe świadczenia); Elastyczne godziny pracy; Regularne działania społeczne firmy; Regularne szkolenia techniczne w naszym biurze; Kursy angielskiego; Siłownia itp.