Starszy inżynier danych w Provectus

Starszy inżynier danych

Київ, Одеса, Вроцлав (Польща), Єреван (Вірменія), Новий Сад (Сербія), віддалено

O projekcie
Poszukujemy utalentowanego i doświadczonego starszego inżyniera danych, który dołączy do naszego zespołu w Provectus. W ramach naszych różnorodnych praktyk, w tym danych, uczenia maszynowego, DevOps, tworzenia aplikacji i kontroli jakości, będziesz współpracować z multidyscyplinarnym zespołem inżynierów danych, inżynierów zajmujących się uczeniem maszynowym i programistami aplikacji. Spotkasz wiele wyzwań technicznych i będziesz mieć możliwość współtworzenia ekscytujących projektów open source (np. ODD, UI dla Kafki), tworzenia wewnętrznych rozwiązań i angażowania się w działania badawczo-rozwojowe, zapewniając doskonałe środowisko do rozwoju zawodowego.

Obowiązki:

• Ścisła współpraca z klientami, aby dogłębnie zrozumieć ich istniejące środowiska IT, aplikacje, wymagania biznesowe i cele transformacji cyfrowej;
• Gromadź duże ilości różnorodnych zbiorów danych i zarządzaj nimi;
• Współpracuj bezpośrednio z badaczami danych i inżynierami ML , aby tworzyć solidne i odporne potoki danych zasilające produkty danych;
• Zdefiniuj modele danych, które integrują różne dane w całej organizacji;
• Projektuj, wdrażaj i utrzymuj potoki ETL;
• Twórz i stale testuj rozwiązania oparte na danych.

Wymagania:

• ponad 5 lat doświadczenia w inżynierii danych;
• Doświadczenie w pracy z rozwiązaniami chmurowymi (najlepiej AWS, także GCP lub Azure);
• Doświadczenie z platformami danych w chmurze (np. Snowflake, Databricks);
• Znajomość technologii Infrastructure as Code (IaC), takich jak Terraform lub AWS CloudFormation;
• Doświadczenie w obsłudze przepływu danych w czasie rzeczywistym i wsadowym oraz hurtowni danych za pomocą narzędzi i technologii takich jak Airflow, Dagster, Kafka, Apache Druid, Spark, dbt itp.;
• Biegłość w językach programowania związanych z inżynierią danych, takich jak Python i SQL;
• Doświadczenie w budowaniu skalowalnych interfejsów API;
• Doświadczenie w budowaniu aplikacji generujących sztuczną inteligencję (np. chatboty, systemy RAG);
• Znajomość aspektów zarządzania danymi, takich jak jakość, odkrywanie, pochodzenie, bezpieczeństwo, glosariusz biznesowy, modelowanie, dane podstawowe i optymalizacja kosztów;
• Zaawansowana lub płynna znajomość języka angielskiego;
• Silne umiejętności rozwiązywania problemów i umiejętność współpracy w dynamicznym środowisku.

Miło mieć:

• Odpowiednie certyfikaty AWS, GCP, Azure, Databricks;
• Znajomość narzędzi BI (Power BI, QuickSight, Looker, Tableau itp.);
• Doświadczenie w budowaniu rozwiązań Data Solutions w architekturze Data Mesh;
• Znajomość klasycznych zadań i narzędzi Machine Learning (np. OCR, AWS SageMaker, MLFlow itp.).