Senior Databricks Developer (m/w/d/v) (ID: 1300) in Infopulse

30. September 2024

Senior Databricks Developer (m/f/d/v) (ID: 1300)

Infopulse, ein Teil von Tietoevry Create, ist auf der Suche nach einem qualifizierten und erfahrenen Senior Databricks-Entwickler um unserem wachsenden Team beizutreten. Unser Kunde ist eines der „Big Four“-Unternehmen, das Wirtschaftsprüfungs-, Steuer-, Beratungs- und Finanzberatungsdienstleistungen anbietet.

Verantwortungsbereiche

• Leiten Sie die Migration von Datenbeständen und Arbeitslasten aus dem Altbestand Databricks-Umgebungen bis hin zu Databricks Unity Catalog
• Entwerfen, entwickeln und pflegen Sie skalierbare ETL-Prozesse mit Databricks, PySpark (Scala oder Python) und anderen relevanten Technologien
• Stellen Sie eine nahtlose Datenintegration und Compliance sicher Data-Governance-Standards während des Migrationsprozesses
• Optimieren und beheben Sie komplexe SQL-Abfragen für die Datenextraktion, -transformation und das Laden innerhalb des neuen Databricks UC-Frameworks
• Arbeiten Sie mit funktionsübergreifenden Teams zusammen, um die Migration zu verstehen Anforderungen und Bereitstellung hochwertiger Datenlösungen
• Überwachen Sie die Leistung, Zuverlässigkeit und Skalierbarkeit der neuen Databricks Unity Catalog-Umgebung nach der Migration
• Bieten Sie administrative Unterstützung und Konfigurationsmanagement für die Databricks-Plattform , Gewährleistung von Best Practices für Sicherheit und Datenverwaltung

Qualifikationen

• 3+ Jahre Erfahrung in der Databricks-Entwicklung, einschließlich umfangreicher Erfahrung mit der Databricks-Verwaltung
• Nachgewiesene Erfolgsbilanz bei der erfolgreichen Migration von Datenumgebungen zu Databricks Unity Catalog oder ähnlichen Plattformen
• Umfangreiche Erfahrung mit PySpark (Scala oder Python) für die Erstellung und Optimierung von Datenpipelines
• Kenntnisse in SQL , mit fortgeschrittenen Kenntnissen in der Abfrageoptimierung und Leistungsoptimierung
• Vertrautheit mit Azure Data Factory und anderen cloudbasierten ETL-Tools
• Solides Verständnis von Data Warehousing-Konzepten, Datenverwaltung und Best Practices in eine Cloud-Umgebung
• Ausgeprägte Problemlösungsfähigkeiten und Liebe zum Detail, insbesondere in Migrationsszenarien
• Ausgezeichnete Kommunikationsfähigkeiten mit der Fähigkeit, mit technischen und nichttechnischen Interessengruppen zusammenzuarbeiten