Dateningenieur (Azure Databricks) in LimestoneDigital

Limestone Digital sucht einen Data Engineer zur Erweiterung unseres Teams.

Anforderungen:

- Ausgeprägte Kenntnisse in Azure Data Factory (ADF) und Azure Synapse zum Entwerfen und Implementieren von Datenpipelines und Arbeitsabläufen;

- Fachwissen in SQL zum Abfragen und Bearbeiten von Daten darin relationale Datenbanken und Data Warehouses;

- Erfahrung mit Databricks für die Verarbeitung großer Datenmengen, Datenexploration und erweiterte Analysen;

- Kenntnisse von Azure Events Hub für die Aufnahme und Verarbeitung von Echtzeitdaten Streams;

- Vertrautheit mit Azure-Funktionen für die Entwicklung serverloser Computing-Lösungen und ereignisgesteuerter Architekturen;

- Verständnis von Azure PureView für Datenqualitätsmanagement und Datenprofilierung;

- Fähigkeit, skalierbare, zuverlässige und effiziente Datenverarbeitungslösungen auf der Azure-Cloud-Plattform zu entwerfen und zu entwickeln;

- Kenntnisse in Datenmodellierungs- und Datenbankdesignprinzipien, um die Datenintegrität sicherzustellen und die Abfrageleistung zu optimieren;

- Kenntnisse über Best Practices für Datenverwaltung und Datensicherheit, um Compliance und Datenschutz sicherzustellen;

- Erfahrung mit Datenintegrations- und Datentransformationstechniken zum Extrahieren, Transformieren und Laden (ETL) von Daten aus verschiedenen Quellen in Zieldatenrepositorys;

- Vertrautheit mit Konzepten und Techniken des maschinellen Lernens zur Datenunterstützung Wissenschaftler in der Modellentwicklung und -bereitstellung;

- Verständnis von Cloud-Computing-Plattformen (Azure und/oder AWS) und ihren Diensten für Datentechnik- und Datenverarbeitungsaufgaben.

- Enge Zusammenarbeit mit unseren Ingenieuren und Kunden, um ein qualitativ hochwertiges Ergebnis für unsere Kunden zu entwickeln;

- Kommunikation mit externen Webdiensten und Datenerfassung;

- Entwickeln und schreiben Sie effizienten, lesbaren Code in (ADF/Synapse, SQL, Databricks, Events Hub, Azure Functions, PureView);

- Arbeiten Sie mit Drittanbietern. Parteibibliotheken;

- Entwicklungsprozesse zur Selbstverbesserung.

Schön zu haben:

- Kenntnisse in der Programmierung von Python für die Skripterstellung und Automatisierung in Data-Engineering-Workflows;

- Starke Kommunikations- und Kollaborationsfähigkeiten, um effektiv mit funktionsübergreifenden Teams und Stakeholdern zusammenzuarbeiten;

- Fähigkeit, auf dem Laufenden zu bleiben- Bleiben Sie über die neuesten Trends und Fortschritte in den Bereichen Datentechnik und Cloud-Technologien auf dem Laufenden.