Dateningenieur (Spark) @ GetInData | Teil von Xebia in GetInData | Part of Xebia

Wir arbeiten an der Entwicklung einer modernen Plattform zur Sammlung und Analyse von Abstammungsmetadaten. Als Dateningenieur arbeiten Sie eng mit den GetInData- und Kundenteams an der Erstellung und Pflege von Spezifikationen und Integrationen für Tools wie Apache Airflow, Flink oder Spark sowie an der Entwicklung des Marquez-Dienstes für die Sammlung, Aggregation und Visualisierung von Herkunftsmetadaten . Öffentliche GitHub-Umgebungen und Diskussionen, die für den Rest der Welt offen sind, begrenzen die Anzahl der Meetings auf ein Minimum. Sehr gute Kenntnisse in Java oder Python oder beidem. Erfahrung in der Arbeit mit Datenbanken oder Datenverarbeitungssystemen. Gute Kenntnisse in SQL. Erfahrung in der Arbeit mit Spark. Kenntnisse in der Big-Data-Landschaft. Fähigkeit, unabhängig zu arbeiten und sich auf wirkungsvolle Funktionen zu konzentrieren. Starkes B2/C1-Englisch – Fähigkeit, komplexe Ideen auszudrücken sowohl im Text als auch in der Sprache. Erfahrung als Mitwirkender in einer Open-Source-Community ist von Vorteil. Fähigkeit zur aktiven Teilnahme/Leitung von Diskussionen mit Kunden, um konkrete und ehrgeizige Verbesserungsmöglichkeiten zu identifizieren und zu bewerten. Wir arbeiten an der Entwicklung einer modernen Plattform für die Sammlung und Analyse von Abstammungsmetadaten. Als Dateningenieur arbeiten Sie eng mit den GetInData- und Kundenteams an der Erstellung und Pflege von Spezifikationen und Integrationen für Tools wie Apache Airflow, Flink oder Spark sowie an der Entwicklung des Marquez-Dienstes für die Sammlung, Aggregation und Visualisierung von Herkunftsmetadaten . Öffentliche GitHub-Umgebungen und Diskussionen, die für den Rest der Welt offen sind, begrenzen die Anzahl der Meetings auf ein Minimum. ,[Zusammenarbeit mit den GetInData- und Kundenteams und der Open-Source-Community, um Anforderungen zu identifizieren und umzusetzen, Schreiben von einfachem, verständlichem, testbarem und effizientem Code mit Schwerpunkt auf solider technischer Stabilität und großartiger Benutzererfahrung, Zusammenarbeit mit Stakeholdern, um die funktionalen Anforderungen des Projekts zu verstehen und Ziele aus Sicht der Datenverarbeitung, Sicherstellung der Einhaltung von Industriestandards und -vorschriften in Bezug auf Sicherheit, Datenschutz in der Datenverarbeitungsschicht, Definition und Implementierung von Sicherheitsmaßnahmen gemäß Best Practices, Sicherstellung der Einhaltung von Industriestandards und -vorschriften] Anforderungen: Java , SQL, Spark, Python-Tools: Jira, GitLab, GIT, Jenkins / GitLab, Agile. Zusätzlich: Sportabonnement, private Gesundheitsversorgung, flache Struktur, kleine Teams, internationale Projekte, Teamevents, Trainingsbudget, kostenloser Kaffee, Fitnessstudio, Fahrradabstellplatz, Spielzimmer, kostenlose Snacks, kostenlose Getränke, Inhouse-Schulungen, Startup-Atmosphäre, kein Dresscode , Küche.