Senior Data Engineer (IT-Lösungen) in Sigma Software

Ich suche einen Senior Data Engineer, um ein kleines Team zu leiten und eine einfache Datenplattform in ein cloudbasiertes Self-Service-Analyseprojekt zu modernisieren.

KUNDE
Sigma Software bietet erstklassige Softwareentwicklung, Grafikdesign, Tests und Supportdienste. Systeme, die entwickelt wurden, um Kundenvorteile in den Branchen Automobil, Telekommunikation, Luftfahrt, Werbung, Spiele, Banken, Immobilien und Gesundheitswesen zu bieten.
< br style="font-style: normal; Schriftstärke: 400"/>PROJEKT
Sie sind dafür verantwortlich, Daten in DWH und Data Marts mithilfe von Spark und MS SQL zu entwerfen und zu modellieren, diese Daten BI-Ingenieuren, die Berichte in Apache Superset erstellen, und anderen Rollen, die solche Daten nutzen, zugänglich zu machen und mit ihnen zusammenzuarbeiten. Darüber hinaus arbeiten Sie mit verschiedenen anderen Teammitgliedern zusammen, die auf diese Daten angewiesen sind. Zu Ihren Aufgaben gehört die Umstellung unserer lokalen Lösung auf eine cloudbasierte Umgebung.

• Unser Ziel ist es, ein effizientes System zum Sammeln, Verarbeiten, Analysieren und Visualisieren großer Datenmengen aus verschiedenen Quellen zu schaffen
• Legen Sie den Grundstein und modellieren Sie die Daten
• Entwickeln Sie eine Plattform für den Aufbau und die Pflege von Datenpipelines, die Daten sammeln aus verschiedenen Quellen
• Data Warehouse erstellen
• Domainbeschreibungen in Zusammenarbeit mit Business Analytics analysieren und vorbereiten
• Data Marts erstellen
• Entwerfen Sie ein Berechtigungsmodell mit flexibler Kontrolle über den vertikalen und horizontalen Zugriff auf Daten

ANFORDERUNGEN
• Konzeptionelle Kenntnisse der Grundlagen der Datenanalyse, z. B. dimensionale Modellierung, ETL/ELT, Berichtstools, Datenverwaltung, Data Warehousing, strukturierte und unstrukturierte Daten
• Gute SQL-Kenntnisse und Erfahrung mit RDBMS, sichere Kenntnisse der Datenbankgrundlagen
• Erfahrung in der Datenbankentwicklung und Datenmodellierung, idealerweise mit Databricks/Spark
• Erfahrung mit Python
• Erfahrung mit Azure
• Kenntnisse über Serialisierungsformate und deren Kompromisse (spalten- vs. zeilenbasiert)
• Erleben Sie das Debuggen und Optimieren von Spark-Jobs
• Starke schriftliche und mündliche Kommunikationsfähigkeiten
• Mindestens gute Englischkenntnisse der oberen Mittelstufe
• Bachelor in Informatik oder einem verwandten Fachgebiet
• Erfahrung mit einem Business-Intelligence-Tool ist ein nice-to-have

Dieses ist eine neue Plattform für die Analyse Dieses Produkt ist auf dem neuesten Stand der Technik.

ЗАМОВНИК
Sigma-Software assi, р рроблені дя забезчення потреillen к івськ с серах, ja.

ПРОЄКТ
GrößeAls internes Projekt bei Sigma Software haben wir zwei Hauptziele: die Berichterstellung zu automatisieren und ein Self-Service-Datenanalysesystem für unser Unternehmen zu schaffen.

Sie sind für die Entwicklung und Modellierung verantwortlich von Daten in DWH und Data Marts mit Spark und MS SQL, Bereitstellung dieser Daten für BI-Ingenieure und Zusammenarbeit mit ihnen, Erstellung von Berichten in Apache Superset und andere Aufgaben im Zusammenhang mit der Verwendung dieser Daten. Darüber hinaus arbeiten Sie mit anderen Teammitgliedern zusammen, die diese Daten nutzen. Zu Ihren Aufgaben gehört auch die Überführung unserer lokalen Lösung in die Cloud-Umgebung.

< span style="font-style: normal; font-weight: 400">Unser Ziel ist es, ein effizientes System zum Sammeln, Verarbeiten, Analysieren und Visualisieren großer Datenmengen aus verschiedenen Quellen zu schaffen

• Erstellen Sie eine Basis- und Modelldaten
• Entwickeln Sie eine Plattform zum Aufbau und zur Unterstützung von Datenpipelines, die Daten aus verschiedenen Quellen sammeln
• Datenspeicher erstellen
• Domainbeschreibungen in Zusammenarbeit mit Business-Analysten analysieren und vorbereiten
• Datenpräsentationen erstellen
• Entwickeln Sie ein Berechtigungsmodell mit flexibler Verwaltung des vertikalen und horizontalen Datenzugriffs

ANFORDERUNGEN
• Konzeptionelle Kenntnisse der Grundlagen der Datenanalyse wie dimensionale Modellierung, ETL/ELT, Berichtstools, Datenmanagement, Data Warehousing, strukturierte und unstrukturierte Daten
• Tiefe Kenntnisse in SQL und Erfahrung mit RDBMS, solide Kenntnisse der Datenbankgrundlagen
• Erfahrung in Datenbankentwicklung und Datenmodellierung, idealerweise mit Databricks/Spark
• Erfahrung mit Python
• Kenntnisse über Serialisierungsformate und deren Kompromisse (Spalte vs. Zeile)
• Erleben Sie das Debuggen und Optimieren von Spark-Jobs
• Starke schriftliche und mündliche Kommunikationsfähigkeiten
• Das Niveau der Englischkenntnisse ist nicht niedriger als Upper-Intermediate
• Bachelor-Abschluss in Informatik oder verwandten Bereichen
Erfahrung mit einem Business-Analytics-Tool wäre von Vorteil