Dateningenieur (Azure Databricks) in LimestoneDigital

Anforderungen:- Ausgeprägte Kenntnisse in Azure Data Factory (ADF) und Azure Synapse zum Entwerfen und Implementieren von Datenpipelines und Workflows;- Fachwissen in SQL zum Abfragen und Bearbeiten von Daten in relationalen Datenbanken und Data Warehouses;- Erfahrung mit Databricks für die Verarbeitung großer Datenmengen, Daten Exploration und erweiterte Analysen; – Kenntnisse über Azure Events Hub für die Aufnahme und Verarbeitung von Echtzeit-Datenströmen; – Vertrautheit mit Azure Functions für die Entwicklung serverloser Computing-Lösungen und ereignisgesteuerter Architekturen; – Kenntnisse von Azure PureView für Datenqualitätsmanagement und Datenprofilierung ;- Kenntnisse in Azure Machine Learning zum Erstellen und Bereitstellen von Modellen für maschinelles Lernen in einer Cloud-Umgebung;- Fähigkeit, skalierbare, zuverlässige und effiziente Datenverarbeitungslösungen auf der Azure-Cloud-Plattform zu entwerfen und zu entwickeln;- Kenntnisse in den Prinzipien der Datenmodellierung und des Datenbankdesigns Gewährleistung der Datenintegrität und Optimierung der Abfrageleistung; - Kenntnisse über Best Practices für Datenverwaltung und Datensicherheit zur Gewährleistung von Compliance und Datenschutz; - Erfahrung mit Datenintegrations- und Datentransformationstechniken zum Extrahieren, Transformieren und Laden (ETL) von Daten aus verschiedenen Quellen in das Ziel Datenrepositorys; - Vertrautheit mit Konzepten und Techniken des maschinellen Lernens zur Unterstützung von Datenwissenschaftlern bei der Modellentwicklung und -bereitstellung; - Verständnis von Cloud-Computing-Plattformen (Azure und/oder AWS) und deren Diensten für Datenentwicklungs- und Datenverarbeitungsaufgaben. Verantwortlichkeiten: - Eng zusammenarbeiten gemeinsam mit unseren Ingenieuren und Kunden ein qualitativ hochwertiges Ergebnis für unsere Kunden zu entwickeln; - Kommunikation mit externen Webdiensten und Erfassung von Daten; - Entwickeln und schreiben Sie effizienten, lesbaren Code in (ADF/Synapse, SQL, Databricks, Events Hub, Azure Functions, PureView); - Arbeiten Sie mit Bibliotheken von Drittanbietern; - Entwicklungsprozesse zur Selbstverbesserung. Gut zu haben: – Kenntnisse in der Programmierung von Python für die Skripterstellung und Automatisierung in Data-Engineering-Workflows; – Starke Kommunikations- und Kollaborationsfähigkeiten, um effektiv mit funktionsübergreifenden Teams und Stakeholdern zusammenzuarbeiten; – Fähigkeit, über die neuesten Trends und Fortschritte auf dem Laufenden zu bleiben in Datentechnik und Cloud-Technologien; - ausgeprägte Problemlösungsfähigkeiten und die Fähigkeit, Datentechnikprozesse und -abläufe zu beheben und zu debuggen.