Senior Data Engineer (IT-Lösungen) in Sigma Software

Ich suche einen Senior Data Engineer, der ein kleines Team leitet und eine einfache Datenplattform in ein cloudbasiertes Self-Service-Analyseprojekt modernisiert.

KUNDE
Sigma Software bietet erstklassige Softwareentwicklung, Grafikdesign, Tests und Supportdienste. Systeme, die entwickelt wurden, um Kundennutzen in den Branchen Automobil, Telekommunikation, Luftfahrt, Werbung, Spiele, Banken, Immobilien und Gesundheitswesen zu bieten.

PROJEKT
Im Rahmen eines internen Projekts Bei Sigma Software haben wir zwei Hauptziele: die Berichterstellung zu automatisieren und ein Self-Service-Datenanalysesystem für unser Unternehmen zu erstellen.
Sie sind für die Gestaltung und Modellierung von Daten in DWH und Data Marts mit Spark und MS SQL verantwortlich , Offenlegung dieser Daten und Zusammenarbeit mit BI-Ingenieuren, die Berichte in Apache Superset erstellen, und anderen Rollen, die solche Daten nutzen. Darüber hinaus arbeiten Sie mit verschiedenen anderen Teammitgliedern zusammen, die auf diese Daten angewiesen sind. Zu Ihren Aufgaben gehört die Umstellung unserer lokalen Lösung auf eine Cloud-basierte Umgebung.

VERANTWORTLICHKEITEN
• Unser Ziel ist es, ein effizientes System zur Datenerfassung zu schaffen , Verarbeiten, Analysieren und Visualisieren großer Datenmengen aus verschiedenen Quellen
• Legen Sie die Grundlage fest und modellieren Sie die Daten
• Entwickeln Sie eine Plattform für den Aufbau und die Pflege von Datenpipelines, die Daten aus verschiedenen Quellen sammeln
• Data Warehouse erstellen
• Domainbeschreibungen in Zusammenarbeit mit Business Analytics analysieren und vorbereiten
• Data Marts erstellen
• Entwerfen eines Berechtigungsmodells mit flexibler Kontrolle über den vertikalen und horizontalen Zugriff auf Daten

ANFORDERUNGEN
• Konzeptionelle Kenntnisse der Grundlagen der Datenanalyse, z. B. dimensionale Modellierung, ETL/ELT, Reporting-Tools, Data Governance, Data Warehousing, strukturierte und unstrukturierte Daten
• Starke SQL-Kenntnisse und Erfahrung mit RDBMS, sichere Kenntnisse der Datenbankgrundlagen
• Erfahrung in der Datenbankentwicklung und Datenmodellierung, idealerweise mit Databricks/Spark
• Erfahrung mit Python
• Erfahrung mit Azure< br/>• Praktische Kenntnisse über Serialisierungsformate und deren Kompromisse (spalten- vs. zeilenbasiert)
• Erfahrung im Debuggen und Optimieren von Spark-Jobs
• Starke schriftliche und mündliche Kommunikationsfähigkeiten
• Bei mindestens ein Upper-Intermediate-Niveau in Englisch
• Bachelor-Abschluss in Informatik oder einem verwandten Bereich
• Erfahrung mit einem Business-Intelligence-Tool ist ein „nice-to-have“

Ми шукаємо старшого Im Laufe der Zeit wurde die neue Plattform auf ein neues Analyseprojekt umgestellt ЗАМОВНИК
Sigma Software ist auf dem neuesten Stand der Technik Weitere Informationen zu Programmen, Grafikdesign, Tests und Tests. Systeme, die es ermöglichen, Kunden in den Bereichen Auto, Telekommunikation, Luftfahrt, Reklamation, Geld, Banken usw. zu erreichen рухомості та охороні здоров'я.

ПРОЄКТ
У ramkaх Unser neues Produkt bei Sigma Software ist vor allem in zwei Kategorien erhältlich: Automatisches Einschalten und Systemoptimierungfür die Datenanalyse für unser Unternehmen.

Sie sind für die Entwicklung und Modellierung von Daten in DWH und Data Marts unter Verwendung von Spark und MS SQL verantwortlich, stellen diese Daten BI-Ingenieuren zur Verfügung und arbeiten mit ihnen zusammen, indem Sie Berichte in Apache erstellen Superset und andere Aufgaben im Zusammenhang mit der Verwendung dieser Daten. Darüber hinaus arbeiten Sie mit anderen Teammitgliedern zusammen, die diese Daten nutzen. Ein Teil Ihrer Arbeit wird es auch sein, unsere lokale Lösung in eine Cloud-Umgebung zu übertragen.

VERANTWORTLICHKEITEN
Unser Ziel ist es, ein effektives System zur Erfassung, Verarbeitung, Analysieren und Visualisieren großer Datenmengen aus verschiedenen Quellen

• Erstellen Sie ein Framework und modellieren Sie Daten
• Entwickeln Sie eine Plattform für den Aufbau und die Pflege von Datenpipelines, die Daten aus verschiedenen Quellen sammeln
• Erstellen Sie ein Data Warehouse
• Analysieren und bereiten Sie Domänenbeschreibungen in Zusammenarbeit mit Geschäftsanalysten vor
• Erstellen Sie Datenschaufenster
• Entwickeln Sie ein Berechtigungsmodell mit flexibler Verwaltung des vertikalen und horizontalen Datenzugriffs
< br/>ANFORDERUNGEN
• Konzeptionelle Kenntnisse der Grundlagen der Datenanalyse wie dimensionale Modellierung, ETL/ELT, Reporting-Tools, Datenmanagement, Data Warehousing, strukturierte und unstrukturierte Daten
• Tiefgreifend Kenntnisse in SQL und RDBMS-Erfahrung, solide Kenntnisse der Datenbankgrundlagen
• Erfahrung in der Datenbankentwicklung und Datenmodellierung, idealerweise mit Databricks/Spark
• Python-Erfahrung
• Praktische Kenntnisse über Serialisierungsformate und deren Kompromisse ( säulenförmig vs. string)
• Erfahrung im Debuggen und Optimieren von Spark-Jobs
• Starke schriftliche und mündliche Kommunikationsfähigkeiten
• Englischkenntnisse der oberen Mittelstufe
• Bachelor-Abschluss in Informatik oder verwandten Bereichen
Erfahrung mit einem Business-Analytics-Tool wäre von Vorteil