Starszy inżynier danych w Provectus

O projekcie
Poszukujemy utalentowanego i doświadczonego starszego inżyniera danych, który dołączy do naszego zespołu w Provectus. W ramach naszych różnorodnych praktyk, w tym danych, uczenia maszynowego, DevOps, tworzenia aplikacji i kontroli jakości, będziesz współpracować z multidyscyplinarnym zespołem inżynierów danych, inżynierów zajmujących się uczeniem maszynowym i programistami aplikacji. Spotkasz wiele wyzwań technicznych i będziesz mieć możliwość współtworzenia ekscytujących projektów open source (np. ODD, UI dla Kafki), tworzenia wewnętrznych rozwiązań i angażowania się w działania badawczo-rozwojowe, zapewniając doskonałe środowisko do rozwoju zawodowego.

• Ścisła współpraca z klientami, aby dogłębnie zrozumieć ich istniejące środowiska IT, aplikacje, wymagania biznesowe i cele transformacji cyfrowej;
• Zbieraj duże ilości różnorodnych zbiorów danych i zarządzaj nimi;
• Współpracuj bezpośrednio z badaczami danych i inżynierami ML, aby tworzyć solidne i odporne potoki danych zasilające produkty Data Products;
• Definiuj modele danych, które integrują różne dane w całej organizacji;
• Projektowanie, wdrażanie i utrzymywanie potoków ETL;
• Tworzenie i ciągłe testowanie rozwiązań opartych na danych.

Wymagania:

• ponad 5 lat doświadczenia w inżynierii danych;
• Doświadczenie w pracy z rozwiązaniami chmurowymi (najlepiej AWS, także GCP lub Azure);
• Wymagania li>
• Doświadczenie z platformami danych w chmurze (np. Snowflake, Databricks);
• biegłość w zakresie technologii Infrastructure as Code (IaC), takich jak Terraform lub AWS CloudFormation;
• Doświadczenie w obsłudze rzeczywistych -czasowy i wsadowy przepływ danych oraz hurtownia danych za pomocą narzędzi i technologii takich jak Airflow, Dagster, Kafka, Apache Druid, Spark, dbt itp.;
• biegłość w językach programowania istotnych dla inżynierii danych, takich jak Python i SQL ;
• Doświadczenie w budowaniu skalowalnych interfejsów API;
• Doświadczenie w budowaniu aplikacji generujących sztuczną inteligencję (np. chatboty, systemy RAG);
• Znajomość aspektów zarządzania danymi, takich jak jakość , odkrywanie, pochodzenie, bezpieczeństwo, glosariusz biznesowy, modelowanie, dane podstawowe i optymalizacja kosztów;
• Zaawansowana lub płynna znajomość języka angielskiego;
• Silne umiejętności rozwiązywania problemów i umiejętność pracy zespołowej w szybkim środowisku.

Miło jest mieć:

• Odpowiednie certyfikaty AWS, GCP, Azure, Databricks;< /li>
• Znajomość narzędzi BI (Power BI, QuickSight, Looker, Tableau itp.);
• Doświadczenie w budowaniu rozwiązań danych w architekturze Data Mesh;
• Znajomość z klasycznymi zadaniami i narzędziami uczenia maszynowego (np. OCR, AWS SageMaker, MLFlow itp.).