Leitender Python-Dateningenieur (SK-1256) in Nortal

Nortal heißt einen erfahrenen Senior Python (Data) Engineer herzlich willkommen, sich dem Projektteam unseres Kunden anzuschließen – dem internationalen Giganten der Bergbauindustrie! Das Unternehmen überdenkt und digitalisiert den Bergbauprozess mithilfe der neuesten und innovativsten IT-Technologien neu, um über eine integrierte Wertschöpfungskette hinweg nachhaltigen Wert zu schaffen. Über unseren Kunden Unser Kunde ist ein globales Bergbauunternehmen mit einem erstklassigen Produktportfolio, das täglich von Milliarden Verbrauchern genutzt wird. Unser Kunde verlässt sich auf Daten und modernste Datenwissenschaft, um seine Abläufe zu verbessern. Sie nutzen außerdem fortschrittliches maschinelles Lernen und künstliche Intelligenz, um ihre Prozesse zu optimieren. Über das Projekt Unser Kunde ist ein riesiges Unternehmen mit 90.000 Mitarbeitern weltweit. Sie verfügen über eine eigene innovative IT-Abteilung, die den gesamten Entwicklungszyklus der von der Organisation verwendeten Produkte abwickelt. Sie arbeiten in einem internationalen Expertenteam an der Entwicklung anspruchsvoller Softwarelösungen, die einen direkten Einfluss auf nahezu jeden Aspekt des modernen Lebens haben. Sie nutzen innovative Praktiken und neueste Technologien, um ihren Kunden auf der ganzen Welt sichere und nachhaltige Produkte zu liefern. Datenanalyse ist eine neue Disziplin in der Technik- und Nachhaltigkeitsfunktion unseres Kunden. Das Unternehmen wird mehr Daten als je zuvor generieren und muss die Systeme aufbauen, um dies zu unterstützen und bessere Entscheidungen zu treffen. Mission: Arbeiten Sie eng mit dem Data Engineering Lead zusammen, um effektive Datenerfassungsstrategien zu entwickeln, die auf die Geschäftsziele abgestimmt sind. Definieren und implementieren Sie robuste Datenerfassungsmuster und -prozesse, um eine effiziente und effiziente Datenerfassung zu gewährleisten Zuverlässiger Datenfluss in die Datenplattform der Organisation. Entwickeln und pflegen Sie wiederverwendbare Data Engineering- oder ETL-Pipelines und Codebasis mit Python, PySpark, Databricks, Airflow, REST-APIs und der Azure-Cloud-Plattform. Entwerfen und implementieren Sie robuste Daten-APIs mit Python-Frameworks wie FastAPI oder Flask und stellen Sie sie in der Azure-App bereit Service: Arbeiten Sie mit funktionsübergreifenden Teams zusammen, um Datenanforderungen zu verstehen und skalierbare Daten-Engineering-Lösungen bereitzustellen. Entwerfen und implementieren Sie Batch- und Streaming-Datenarchitekturen unter Nutzung von Azure-Cloud-Diensten wie Azure Data Factory und Azure Databricks. Tragen Sie zur Entwicklung und Bereitstellung von Apache Airflow im Azure Kubernetes Service (AKS) bei. Stellen Sie die Einhaltung der besten Software-Engineering-Standards sicher Praktiken, einschließlich Versionskontrolle, Tests und Prozesse der kontinuierlichen Integration/kontinuierlichen Bereitstellung (CI/CD). Nehmen Sie an Incode-Reviews, technischen Diskussionen und Wissensaustauschsitzungen im Team teil. Anforderungen: Gute Erfahrung in der Programmiersprache Python. Nachgewiesene Erfahrung mit Apache Airflow und seinen Bereitstellungen im Azure Kubernetes Service. Hände - Erfahrung mit Python-Frameworks wie FastAPI oder Flask und der Bereitstellung von REST-APIs auf Azure App Service. Ausgeprägtes Verständnis der Kernkonzepte und -prinzipien des Data Engineering. Solide Erfahrung mit Azure-Clouddiensten, einschließlich Azure Data Factory und Azure Databricks. Kenntnisse im Schreiben von PySpark-Code für die Datenverarbeitung und -transformation. Fähigkeit, wiederverwendbar und skalierbar zu entwerfen und zu implementieren Daten-Engineering-Pipelines und Codebasis. Gutes Verständnis von Software-Engineering-Entwicklungspraktiken, einschließlich Versionskontrolle, Tests und kontinuierlicher iIntegration/kontinuierliche Bereitstellung (CI/CD) Erfahrung im Entwerfen von Batch- und Streaming-Datenarchitekturen mithilfe von Azure-Cloud-Plattformdiensten. Effektive Fähigkeiten zur Problemlösung und die Fähigkeit, komplexe Daten-Engineering-Probleme zu beheben. Engagement für kontinuierliches Lernen und Bleiben über Branchentrends und Best Practices im Daten-Engineering. Starke Kommunikations- und Kollaborationsfähigkeiten mit Englischkenntnissen. Fähigkeit, effektiv in einer Teamumgebung zu arbeiten, Schulungen anzubieten und Prozesse zu dokumentieren. Schön zu haben: Vertrautheit mit Python-Tools wie Pytest, Tox, Poetry. Vertrautheit mit Python-Test-Frameworks wie Pytest und Build-Tools wie Tox und Poetry. Erfahrung im Aufbau von CI/CD-Pipelines und der Arbeit mit Git. Basierend auf Versionskontrollsystemen. Kenntnisse über Containerisierungstechnologien wie Docker und Kubernetes. Nortal bietet ein familiäres Umfeld und persönliche Aufmerksamkeit für jeden Spezialisten. Direkte Zusammenarbeit mit europäischen und US-amerikanischen Kunden und deren innovativen Produkten. Wettbewerbsfähiges Gehalt und regelmäßige Bewertungen. Die Work-Life-Balance, die Sie verdienen: 24 Arbeitstage bezahlter Urlaub, Bildungsvergütung, finanzierte Sprachkurse, Zertifizierungen „Benefit Café mit verschiedenen Kategorien wie Sport, Freizeit, Bücher, Treibstoff usw. Gesundheitsfürsorge: 10 bezahlte Krankenstände, Krankenversicherung auf Abruf, Impfungen Gemütlicher Arbeitsplatz und WFH-Möglichkeiten Spannende Veranstaltungen und schöne Geschenke für Ihre Familie Umzugsunterstützung auf Abruf nach Polen Bitte erlauben Sie in Ihrem Lebenslauf unsere Unternehmen, Ihre personenbezogenen Daten zu verwenden.