Leitender Dateningenieur in Provectus

Über das Projekt
Wir suchen einen talentierten und erfahrenen Senior Data Engineer zur Verstärkung unseres Teams bei Provectus. Im Rahmen unserer vielfältigen Praktiken, darunter Daten, maschinelles Lernen, DevOps, Anwendungsentwicklung und Qualitätssicherung, arbeiten Sie mit einem multidisziplinären Team aus Dateningenieuren, Ingenieuren für maschinelles Lernen und Anwendungsentwicklern zusammen. Sie werden auf zahlreiche technische Herausforderungen stoßen und die Möglichkeit haben, an spannenden Open-Source-Projekten (z. B. ODD, UI für Kafka) mitzuwirken, interne Lösungen zu entwickeln und sich an F&E-Aktivitäten zu beteiligen, was ein hervorragendes Umfeld für die berufliche Weiterentwicklung bietet.

• Arbeiten Sie eng mit Kunden zusammen, um deren bestehende IT-Umgebungen, Anwendungen, Geschäftsanforderungen und Ziele der digitalen Transformation tiefgreifend zu verstehen;
• Sammeln und verwalten Sie große Mengen unterschiedlicher Datensätze.
• Arbeiten Sie direkt mit Datenwissenschaftlern und ML-Ingenieuren zusammen, um robuste und belastbare Datenpipelines zu erstellen, die Datenprodukte versorgen.
• Definieren Sie Datenmodelle, die unterschiedliche integrieren Daten im gesamten Unternehmen;
• ETL-Pipelines entwerfen, implementieren und warten;
• datengesteuerte Lösungen entwickeln und kontinuierlich testen.

Anforderungen:

• 5+ Jahre Erfahrung in der Datentechnik;
• Erfahrung in der Arbeit mit Cloud-Lösungen (vorzugsweise AWS, auch GCP oder Azure);
• Erfahrung mit Cloud-Datenplattformen (z. B. Snowflake, Databricks);
• Kenntnisse mit Infrastructure as Code (IaC)-Technologien wie Terraform oder AWS CloudFormation;
• Erfahrung im Umgang mit echten -Zeit- und Batch-Datenfluss und Data Warehousing mit Tools und Technologien wie Airflow, Dagster, Kafka, Apache Druid, Spark, dbt usw.;
• Kenntnisse in für die Datentechnik relevanten Programmiersprachen wie Python und SQL ;
• Erfahrung in der Entwicklung skalierbarer APIs;
• Erfahrung in der Entwicklung generativer KI-Anwendungen (z. B. Chatbots, RAG-Systeme);
• Vertrautheit mit Data Governance-Aspekten wie Qualität , Entdeckung, Abstammung, Sicherheit, Geschäftsglossar, Modellierung, Stammdaten und Kostenoptimierung;
• Fortgeschrittene oder fließende Englischkenntnisse;
• Ausgeprägte Fähigkeiten zur Problemlösung und die Fähigkeit zur Zusammenarbeit in einer schnelllebigen Umgebung.

Nice to Have:

• Relevante AWS-, GCP-, Azure- und Databricks-Zertifizierungen;< /li>
• Kenntnisse über BI-Tools (Power BI, QuickSight, Looker, Tableau usw.);
• Erfahrung im Aufbau von Datenlösungen in einer Data-Mesh-Architektur;
• Vertrautheit mit klassischen Aufgaben und Tools des maschinellen Lernens (z. B. OCR, AWS SageMaker, MLFlow usw.).