Azure-Dateningenieur in Lingarogroup

Wir sind auf der Suche nach einem erfahrenen Cloud Data Engineer, der sich mit Azure und Databricks auskennt. Der ideale Kandidat verfügt über praktische Erfahrung im Entwerfen und Implementieren von Datenpipelines, Data Warehouse-Lösungen und ETL-Workflows. Wenn dies also mit Ihrer Erfahrung übereinstimmt, zögern Sie nicht, dies zu tun Bewerben!Aufgaben:- Entwerfen und Implementieren von Datenverarbeitungssystemen auf der Azure-Plattform. Dazu gehört das Schreiben von effizientem und skalierbarem Code zum Verarbeiten, Transformieren und Bereinigen großer Mengen strukturierter und unstrukturierter Daten. – Erstellen von Datenpipelines zur Aufnahme von Daten aus verschiedenen Quellen wie Datenbanken, APIs oder Streaming-Plattformen. – Integrieren und Transformieren von Daten, um sicherzustellen, dass dies der Fall ist Kompatibilität mit dem Zieldatenmodell oder -format. - Praktische Erfahrung in der Gestaltung und Optimierung der Datenspeicherung (Data Lakes, Data Warehouses, verteilte Dateisysteme). - Vertrautheit mit Partitionierung, Komprimierung, Optimierung der Datenspeicherung und -abfrage. - Identifizieren und Beheben von Engpässen, Optimieren von Abfragen und Implementieren von Caching-Strategien zur Verbesserung der Datenabrufgeschwindigkeit und der Gesamtsystemeffizienz. – Zusammenarbeit mit funktionsübergreifenden Teams, darunter Datenwissenschaftler, Analysten und Geschäftsinteressenten, um deren Anforderungen zu verstehen und technische Lösungen bereitzustellen. – Unabhängigkeit und Verantwortung in Bereitstellung von Lösungen.- Fähigkeit, mit agilen Methoden zu arbeiten.Anforderungen: - Nachgewiesene Erfahrung in der cloudbasierten Azure-Infrastruktur, Databricks und einer SQL-Implementierung (z. B. Oracle, T-SQL, MySQL usw.).- Mindestens 4 Jahre Erfahrung im Bereich Data&Analytics – Sehr gutes Kommunikationsniveau, einschließlich der Fähigkeit, Informationen klar und spezifisch an Kollegen und Geschäftsinteressenten zu übermitteln. – Berufserfahrung in den agilen Methoden – unterstützende Tools (JIRA, Azure DevOps). – Englisch mindestens auf B2-Niveau, idealerweise C1.- Erfahrung oder Vertrautheit mit anderen Cloud-Technologien, Data Warehouses, Daten-Governance und Geschäftsanalyse ist ein Plus. Gut zu haben:- Kenntnisse in Python- Programmierkenntnisse für Datenanalyse (insbesondere PySpark, SparkSQL)