Leitender Dateningenieur in Limango Polska

Senior Data Engineer @ Limango

Remote/Breslau

B2B-Vertrag – Tagessatz 900-1250 PLN

Ihre Rolle und Hauptaufgaben

• Entwicklung der Central Lakehouse Data Platform auf Basis des AWS/Databricks-Ökosystems
• Verwaltung der Dateninfrastruktur (Terraform AWS/Databricks) und ETL-Code (PySpark, Delta Live Tables, SparkSQL)
• Implementierung von Überwachung, Datenqualitätstests, Unit-Tests für Code und automatisierten Warnungen im System
• Umgestaltung älterer AWS-Lösungen (AWS Glue, Redshift) in überwachte und CI/CD implementierte das Lakehouse-Ökosystem mit Datenerwartungen/Datenqualitätstests.
• Aktive Unterstützung beim Aufbau einer Medaillon-Lakehouse-Architektur für ML- und Analysedaten und bei der Einführung von Data-Mesh-Konzepten.
• Aktive Unterstützung bei Geschäftsanalysen und ML-Teams, die an der Datenplattform arbeiten

Sie benötigen

• einen Abschluss in Informationssystemen, Informatik, Mathematik/Physik , Ingenieurwesen oder ein verwandter Bereich
• mehrere Jahre Erfahrung in der Entwicklung von Data-Engineering-Lösungen (idealerweise im E-Commerce)
• sehr gute Kenntnisse der Python-Programmierung (Erstellung von Anwendungen, automatisierte Tests, Paketierung). und Bereitstellung) 
• echte Erfahrung mit der PySpark-Datenverarbeitung und gute Kenntnisse der Architektur der Spark-Verarbeitungs-Engine
• Fortgeschrittene SQL-Verarbeitungskenntnisse
• Erfahrung mit der Data-Lakes-Architektur und Datenmodellierung Paradigmen
• Erfahrung mit Terraform Infrastructure-as-Code und CI/CD-Bereitstellungen
• Erfahrung mit dem Erstellen und Bereitstellen von Data-Engineering-ETL-Anwendungen – CI/CD-Pipelines in Git-Umgebungen 
< li> Fließende Englischkenntnisse – wir arbeiten in einem internationalen Umfeld
• Teamplayer-Einstellung und Bereitschaft, moderne Technologien/Frameworks zu erlernen

Nett- zu haben

• Vertrautheit mit der AWS Cloud-Architektur und der Databricks-Plattform sind sehr willkommen
• Erfahrung mit AWS Glue und Redshift Warehousing
• Erfahrung mit CloudFormation-Vorlagen
• Erfahrung mit AWS Kinesis und Spark-Streaming-Verarbeitung
• Gute Kenntnisse in Scala-Codierung, funktionaler Programmierung und Anwendungsentwicklung
• Erfahrung mit MLOps-Umgebungen (z. B. MLFlow) < /li>

Vorteile:

• Zugang zu privater Gesundheitsversorgung, um das Wohlergehen von Ihnen und Ihren Lieben sicherzustellen.
• Sprachkurse in Englisch und Deutsch, abgestimmt auf Ihr Sprachniveau.
• Remote-Arbeitsmöglichkeiten und flexible Arbeitszeiten, die sich Ihrem Zeitplan anpassen.
• Kofinanzierung der Multisportkarte
• Büro im pulsierenden Zentrum von Breslau, mit nahegelegenen Annehmlichkeiten wie Kinos, Fitnessclubs und einer Vielzahl von Mittagsangeboten.
• Außerhalb der Geschäftszeiten organisieren wir oft interessante Ausflüge oder Treffen in unserem Büro oder in der Nähe von J