Senior Data Engineer (IT-Lösungen) in Sigma Software

Senior Data Engineer gesucht, um ein kleines Team zu leiten und eine einfache Datenplattform in ein cloudbasiertes Self-Service-Analyseprojekt zu modernisieren.

KUNDE

Sigma Software bietet erstklassige Softwareentwicklung, Grafikdesign, Tests und Supportdienste. Systeme, die entwickelt wurden, um Kundennutzen in den Branchen Automobil, Telekommunikation, Luftfahrt, Werbung, Spiele, Banken, Immobilien und Gesundheitswesen zu bieten.

PROJEKT

Im Rahmen eines internen Projekts bei Sigma Software verfolgen wir zwei Hauptziele: die Automatisierung der Berichterstellung und die Schaffung eines Self-Service-Datenanalysesystems für unser Unternehmen.

Sie sind für die Gestaltung und Modellierung von Daten in DWH und Data Marts mithilfe von Spark und MS SQL, Offenlegung dieser Daten für und Zusammenarbeit mit BI-Ingenieuren, die Berichte in Apache Superset erstellen, und andere Rollen, die solche Daten nutzen. Darüber hinaus arbeiten Sie mit verschiedenen anderen Teammitgliedern zusammen, die auf diese Daten angewiesen sind. Ein Teil Ihrer Aufgabe wird die Umstellung unserer lokalen Lösung auf eine cloudbasierte Umgebung sein.

VERANTWORTLICHKEITEN

• Unsere Ziel ist es, ein effizientes System zum Sammeln, Verarbeiten, Analysieren und Visualisieren großer Datenmengen aus verschiedenen Quellen zu schaffen.

• Das Fundament legen und die Daten modellieren.

• Eine Plattform entwickeln zum Erstellen und Verwalten von Datenpipelines, die Daten aus verschiedenen Quellen sammeln

• Erstellen eines Data Warehouse

• Analysieren und Vorbereiten von Domänenbeschreibungen in Zusammenarbeit mit Business Analytics

• Erstellen Data Marts

• Entwerfen Sie ein Berechtigungsmodell mit flexibler Kontrolle über den vertikalen und horizontalen Zugriff auf Daten

ANFORDERUNGEN

• Konzeptionelle Kenntnisse der Grundlagen der Datenanalyse, z. B. dimensionale Modellierung, ETL/ELT, Berichtstools, Datenverwaltung, Data Warehousing, strukturierte und unstrukturierte Daten

• Starke SQL-Kenntnisse und Erfahrung mit RDBMS, sicher Kenntnisse der Datenbankgrundlagen

• Erfahrung in der Datenbankentwicklung und Datenmodellierung, idealerweise mit Databricks/Spark

• Erfahrung mit Python

• Erfahrung mit Azure

• Praktische Kenntnisse über Serialisierungsformate und deren Kompromisse (spalten- oder zeilenbasiert)

• Erfahrung im Debuggen und Optimieren von Spark-Jobs

• Starke schriftliche und mündliche Kommunikation Fähigkeiten

• Mindestens ein mittleres Englischniveau

• BS in Informatik oder einem verwandten Bereich

• Erfahrung mit einem Business-Intelligence-Tool ist ein Nice-to-have

ЗАМОВНИК

Sigma Software hat einige Tests und Tests durchgeführt rimki. Systeme, die es ermöglichen, Kunden in der Automobil-, Telekommunikations-, Luftfahrt-, Reklamations-, Bank- und Bankbranche zu erreichen рухомості та охороні здоров'я.

ПРОЄКТ

У ramkAls internes Projekt bei Sigma Software haben wir zwei Hauptziele: die Automatisierung des Reportings und die Schaffung eines Self-Service-Datenanalysesystems für unser Unternehmen.

Sie sind dafür verantwortlich Entwickeln und Modellieren von Daten in DWH und Data Marts mit Spark und MS SQL, Bereitstellen dieser Daten für BI-Ingenieure und Zusammenarbeit mit ihnen, Erstellen von Berichten in Apache Superset und andere Aufgaben im Zusammenhang mit der Verwendung dieser Daten. Darüber hinaus arbeiten Sie mit anderen Teammitgliedern zusammen, die diese Daten nutzen. Ein Teil Ihrer Arbeit wird auch die Übertragung unserer lokalen Lösung in die Cloud-Umgebung sein.

VERANTWORTLICHKEITEN

Unser Ziel ist es, etwas zu schaffen ein effektives System zum Sammeln, Verarbeiten, Analysieren und Visualisieren großer Datenmengen aus verschiedenen Quellen

• Erstellen Sie ein Framework und modellieren Sie die Daten

• Entwickeln Sie ein Plattform zum Erstellen und Verwalten von Datenpipelines, die Daten aus verschiedenen Quellen sammeln

• Erstellen Sie ein Data Warehouse

• Analysieren und bereiten Sie Domänenbeschreibungen in Zusammenarbeit mit Geschäftsanalysten vor

• Erstellen Sie Datenschaufenster

p>

• Entwickeln Sie ein Berechtigungsmodell mit flexibler Verwaltung des vertikalen und horizontalen Datenzugriffs

ANFORDERUNGEN< /strong>

• Konzeptionelle Kenntnisse, Grundlagen der Datenanalyse wie dimensionale Modellierung, ETL/ELT, Reporting-Tools, Datenmanagement, Data Warehousing, strukturierte und unstrukturierte Daten

• Tiefe Kenntnisse von SQL- und RDBMS-Erfahrung, solide Kenntnisse der Datenbankgrundlagen

p>

• Erfahrung in der Datenbankentwicklung und Datenmodellierung, idealerweise mit Databricks/Spark

• Python-Erfahrung