Dateningenieur (Datenkompetenzzentrum) in Sigma Software

Kommen Sie zu Sigma Software, um an der Spitze der interessantesten Projekte zu stehen und eine entscheidende Rolle beim Wachstum und Erfolg unserer Initiativen und unseres Kompetenzzentrums zu spielen. KUNDE Wir sind auf der Suche nach einem Dateningenieur, der nicht nur über ausgeprägte Fachkenntnisse im Daten-Engineering verfügt, sondern auch bereit ist, eine Treiberrolle zu übernehmen und einen Beitrag zu unserem Datenkompetenzzentrum bei Sigma Software zu leisten. Wir suchen jemanden, der sich für Datenverarbeitung begeistert und den starken Wunsch hat, seine Fähigkeiten und sein Fachwissen in diesem Bereich zu erweitern. VERANTWORTLICHKEITEN: Erstellen Sie ETL-Pipelines, Orchestrierungskonfigurationen, CI/CD-Automatisierung, Skripts usw. Analysieren, organisieren und interpretieren Sie Rohdaten mithilfe eines modernen Datenstapels. Erstellen Sie SQL-Abfragen, um Daten effizient zu bearbeiten. Mitwirken an und Speerspitze der Data Engineering-Exzellenz: Erforschen Sie Technologietrends und führen Sie Best-Practice-Analysen durch, um sicherzustellen, dass unsere Lösungen auf dem neuesten Stand bleiben. ANFORDERUNGEN Kompetenz im Aufbau, der Wartung, dem Testen und der Bereitstellung großer Datenpipelines. ETL/ELT-Fachwissen: Praktische Erfahrung mit mindestens einem End-to-End -Endlösung und deren Start, Entwicklung und Wartung. Umfangreiche SQL-Kenntnisse. Erfahrung und theoretisches Verständnis in der Datenmodellierung und Datenbankoptimierung. Mindestens 3 Jahre Kenntnisse in Python/Scala für Datenverarbeitung und -transformationen. Erfahrung mit Spark, mit Schwerpunkt auf PySpark. Praktische Erfahrung mit den wichtigsten Frameworks und Bibliotheken in den Bereichen Data Engineering: Spark, Kafka, Airflow usw. mit nachweislicher Erfahrung im Debuggen und Optimieren. Erfahrung mit cloudbasierten Datenverarbeitungslösungen auf AWS/Azure. WÜRDE APLUSDatabricks-Erfahrung/Zertifizierung. Erfahrung mit CI/CD-Indata-Engineering. Erfahrung mit BI-Tools wie Tableau, Qlik, Grafana oder ähnlichen ЗАМОВНИК Mein Data Engineer, ein kleiner Netzwerk-Dosierer, ist bereits auf der Suche nach Robotern in unserem Wettbewerbszentrum Weitere Informationen zu Sigma Software. Мишукаємо людину, яка захоплюється обробкою даних ипрагне розвивати свої навички тавдосконалювати знання вцій галузи.ОБОВ'ЯЗКИ ETL-Konvertierung, Konfigurationskonfiguration, automatische CI/CD, Verschlüsselung, Organisation und Analyse neuer Daten, Überprüfung Dies sind nur wenige SQL-Anweisungen zur effektiven Manipulation von Daten вolog у урозвиток інженер д дх т ттт и ліеее ц г галззз: " т т вровадженя конвеєрі & $ н в лико neben иклу, атакож досвід його впровадження, розвитку таобслуговуванняГлибокі знання SQLДосвід татеоретичне розуміння моделювання даних таоптимізації баз данихЩонайменше 3роки досвіду роботи зPython/Scala для обробки таперетворення данихДосвід роботи зіSpark, закцентом наPySparkПрактичний досвід роботи зосновними фреймворками табібліотеками вобласті Data Engineering: Spark, Kafka, Airflow тоmit nachgewiesener Erfahrung in der Fehlerbehebung und Optimierung. Erfahrung mit Cloud-Datenverarbeitungslösungen auf AWS/Azure wird von Vorteil sein: Erfahrung mit CI/CD im Data Engineering. Erfahrung mit BI-Tools wie Tableau, Qlik, Grafana oder ähnlichem. Databricks-Erfahrung/Zertifizierung