Leitender Python-Dateningenieur in Nortal

ÜbersichtNortalbegrüßt einen erfahrenen Senior Python (Data) Engineer, der dem Projektteam unseres Kunden beitritt – dem internationalen Giganten der Bergbauindustrie! Das Unternehmen überdenkt und digitalisiert den Bergbauprozess mithilfe der neuesten und innovativsten IT-Technologien neu, um über eine integrierte Wertschöpfungskette hinweg nachhaltige Werte zu schaffen. Über unseren Kunden Unser Kunde ist ein globales Bergbauunternehmen mit einem erstklassigen Produktportfolio täglich von einer Milliarde Verbrauchern genutzt. Unser Kunde verlässt sich auf Daten und modernste Datenwissenschaft, um seine Abläufe zu verbessern. Sie nutzen außerdem fortschrittliches maschinelles Lernen und künstliche Intelligenz, um ihre Prozesse zu optimieren. Über das Projekt Unser Kunde ist ein riesiges Unternehmen mit 90.000 Mitarbeitern weltweit. Sie verfügen über eine eigene innovative IT-Abteilung, die den gesamten Entwicklungszyklus der von der Organisation verwendeten Produkte abwickelt. Sie arbeiten in einem internationalen Expertenteam an der Entwicklung anspruchsvoller Softwarelösungen, die einen direkten Einfluss auf nahezu jeden Aspekt des modernen Lebens haben. Sie nutzen innovative Praktiken und neueste Technologien, um ihren Kunden auf der ganzen Welt sichere und nachhaltige Produkte zu liefern. Data Analytics ist eine neue Disziplin in der Technik- und Nachhaltigkeitsfunktion unseres Kunden. Das Unternehmen wird mehr Daten als je zuvor generieren und muss die Systeme aufbauen, um dies zu unterstützen und bessere Entscheidungen zu treffen. Verantwortlichkeiten: Arbeiten Sie eng mit dem Data Engineering Lead zusammen, um effektive Datenerfassungsstrategien zu entwickeln, die auf die Geschäftsziele abgestimmt sind. Definieren und implementieren Sie eine robuste Datenerfassung Muster und Prozesse, um einen effizienten und zuverlässigen Datenfluss in die Datenplattform der Organisation sicherzustellen. Entwickeln und pflegen Sie wiederverwendbare Data Engineering- oder ETL-Pipelines und Codebasis mit Python, PySpark, Databricks, Airflow, REST-APIs und der Azure-Cloud-Plattform. Entwerfen und implementieren Sie robuste Daten-APIs mithilfe von Python-Frameworks B. FastAPI oder Flask, und stellen Sie diese auf Azure App Service bereit. Arbeiten Sie mit funktionsübergreifenden Teams zusammen, um Datenanforderungen zu verstehen und skalierbare Data-Engineering-Lösungen bereitzustellen. Entwerfen und implementieren Sie Batch- und Streaming-Datenarchitekturen unter Nutzung von Azure-Clouddiensten wie Azure Data Factory und Azure Databricks. Tragen Sie zur Entwicklung und Bereitstellung bei von Apache Airflow auf Azure Kubernetes Service (AKS) Stellen Sie die Einhaltung bewährter Software-Engineering-Praktiken sicher, einschließlich Versionskontrolle, Tests und kontinuierlicher Integration/kontinuierlicher Bereitstellung (CI/CD)-Prozesse. Nehmen Sie an Codeüberprüfungen, technischen Diskussionen und Wissensaustauschsitzungen innerhalb der teil TeamQualifikationenGute Erfahrung in der Programmiersprache PythonNachgewiesene Erfahrung mit Apache Airflow und seinen Bereitstellungen auf Azure Kubernetes ServicePraktische Erfahrung mit Python-Frameworks wie FastAPI oder Flask und Bereitstellung von REST-APIs auf Azure App ServiceAusgeprägtes Verständnis der Kernkonzepte und -prinzipien der DatentechnikSolide Erfahrung mit Azure-Clouddiensten, einschließlich Azure Data Factory und Azure DatabricksKompetenz im Schreiben von PySpark-Code für die Datenverarbeitung und -transformationFähigkeit zum Entwerfen und Implementieren wiederverwendbarer und skalierbarer Data-Engineering-Pipelines und CodebasisGutes Verständnis der SoftwareentwicklungEntwicklungspraktiken, einschließlich Versionskontrolle, Tests und kontinuierlicher Integration/kontinuierlicher Bereitstellung (CI/CD) Erfahrung im Entwerfen von Batch- und Streaming-Datenarchitekturen mithilfe von Azure-Cloud-Plattformdiensten Effektive Fähigkeiten zur Problemlösung und die Fähigkeit, komplexe Probleme im Bereich Data Engineering zu beheben Engagement für kontinuierliches Lernen und Bleiben Sie über Branchentrends und Best Practices in der Datentechnik auf dem Laufenden. Starke Kommunikations- und Zusammenarbeitsfähigkeiten mit Englischkenntnissen. Fähigkeit, effektiv in einer Teamumgebung zu arbeiten, Schulungen anzubieten und Prozesse zu dokumentieren. Gut zu haben: Vertrautheit mit Python-Tools wie Pytest, Tox, Poetry. Vertrautheit mit Python-Test-Frameworks wie Pytest und Build-Tools wie Tox und PoetryErfahrung im Aufbau von CI/CD-Pipelines und der Arbeit mit Git-basierten VersionskontrollsystemenKenntnisse über Containerisierungstechnologien wie Docker und KubernetesNortal bietet ein familiäres Umfeld und persönliche Aufmerksamkeit für jeden SpezialistenDirekte Zusammenarbeit mit Kunden aus Europa und den USA und deren innovative ProdukteKonkurrenzfähiges Gehalt und regelmäßige BewertungenDie Work-Life-Balance, die Sie verdienen: 24 Arbeitstage bezahlter UrlaubSchulungsvergütung, finanzierte Sprachkurse, Zertifizierungen“Benefit Café mit verschiedenen Kategorien wie Sport, Freizeit, Bücher, Kraftstoff usw.Gesundheitsversorgung: 10 bezahlte Krankheitstage , On-Demand-Krankenversicherung, Impfungen, gemütlicher Arbeitsplatz und WFH-Möglichkeiten, spannende Veranstaltungen und schöne Geschenke für Ihre Familie. Mehr anzeigen. Weniger anzeigen Formatierungstechnologie, Informationstechnologie und IT-Beratung