Leitender Dateningenieur in GM CONSULTING GROUP

Unser Kunde ist führend im Bereich der frühkindlichen Bildung (ECE) und bietet das am weitesten verbreitete Entwicklungsbewertungs- und Lehrplansystem in den USA an. Sie sind auf der Suche nach einem hochqualifizierten Dateningenieur, der sich ihrem Team anschließt und an der Entwicklung und Wartung ihrer Datenpipelines mitwirkt. Sie sind für die selbstständige Ausführung von Aufgaben verantwortlich und nutzen dabei Ihr Fachwissen in Python, Spark, Airflow und S3. Ihr Hauptaugenmerk liegt auf der Verbesserung und Optimierung von Datenpipelines sowie auf der Erstellung und Ausführung von SQL-Transformationen zur Aktualisierung von Delta-Lake-Tabellen. Als Dateningenieur werden Sie: - Datentransformationen mit Python, Spark, Airflow, S3 und Redshift entwickeln und optimieren; - Erstellen Sie SQL-Abfragen, um Daten für die Speicherung in Delta-Lake-Tabellen effizient zu bearbeiten. - Stellen Sie die Zuverlässigkeit, Skalierbarkeit und Leistung unserer Datenverarbeitungslösungen sicher. - Arbeiten Sie mit unserem Senior Data Engineer zusammen, um Datenpipelines zu implementieren und zu verbessern Aufbau, Wartung und Verbesserung von Datenpipelines. Qualifikationen: – 5+ Jahre praktische Erfahrung in einer Rolle im Bereich Datentechnik oder Datensystementwicklung; – Nachgewiesene Fachkenntnisse im Aufbau und der Optimierung von „Big Data“-Pipelines und -Architekturen; – Kenntnisse in Python für Datenverarbeitung;- Umfangreiche Erfahrung mit Spark, mit Schwerpunkt auf PySpark;- Vertrautheit mit AWS-Services wie EMR, S3 und MWAA (Airflow);- Solides Verständnis von Datenmodellierung, Data Warehousing und ETL/ELT-Techniken;- Kenntnisse in der Arbeit mit Daten in verschiedenen Formaten, einschließlich Parkettdaten, strukturierten und unstrukturierten Daten, die in S3, Redshift oder anderen Spaltendatenbanken gespeichert sind; - Außergewöhnliche Fähigkeiten zur Zusammenarbeit mit hervorragenden mündlichen und schriftlichen Kommunikationsfähigkeiten; Lösung komplexer Probleme. Wir bieten: - Wettbewerbsfähiges Marktgehalt; - Vollständige Fernarbeit; - Bequeme und einigermaßen flexible Arbeitszeiten (Sie müssen bis 20:00 Uhr Kiewer Zeit (13:00 Uhr EST) arbeiten); - 28 Tage bezahlte Freizeit pro Jahr;- Arbeit an einem sehr sozial wertvollen Produkt, zusammen mit einem hochprofessionellen, in den USA ansässigen, internationalen Team;- Interessante Herausforderungen und die Fähigkeit, zu wachsen und zu lernen.