Leitender Python-Dateningenieur in Nortal

Übersicht

Nortal   begrüßt einen erfahrenen   Senior Python (Data) Engineer  , der dem Projektteam unseres Kunden beitritt – dem internationalen Giganten der Bergbauindustrie! Das Unternehmen überdenkt und digitalisiert den Bergbauprozess neu und nutzt dabei die neuesten und innovativsten IT-Technologien, um über eine integrierte Wertschöpfungskette hinweg nachhaltigen Wert zu schaffen.

Über unseren Kunden

Unser Kunde ist ein globales Bergbauunternehmen mit einem erstklassigen Portfolio an Produkten, die täglich von einer Milliarde Verbraucher verwendet werden. Unser Kunde verlässt sich auf Daten und modernste Datenwissenschaft, um seine Abläufe zu verbessern. Sie nutzen außerdem fortschrittliches maschinelles Lernen und künstliche Intelligenz, um ihre Prozesse zu optimieren.

Über das Projekt

Unser Kunde ist ein riesiges Unternehmen mit 90.000 Mitarbeitern weltweit. Sie verfügen über eine eigene innovative IT-Abteilung, die sich um den gesamten Entwicklungszyklus der von der Organisation verwendeten Produkte kümmert. Sie arbeiten in einem internationalen Expertenteam an der Entwicklung anspruchsvoller Softwarelösungen, die einen direkten Einfluss auf nahezu jeden Aspekt des modernen Lebens haben. Sie nutzen innovative Praktiken und neueste Technologien, um ihren Kunden auf der ganzen Welt sichere und nachhaltige Produkte zu liefern. Datenanalyse ist eine neue Disziplin in der Technik- und Nachhaltigkeitsfunktion unseres Kunden. Das Unternehmen wird mehr Daten als je zuvor generieren und muss die Systeme aufbauen, um dies zu unterstützen und bessere Entscheidungen zu treffen.

Verantwortlichkeiten

• Arbeiten Sie eng mit dem Data Engineering Lead zusammen, um effektive Datenerfassungsstrategien zu entwickeln, die auf die Geschäftsziele abgestimmt sind.
• Definieren und implementieren Sie robuste Datenerfassungsmuster und -prozesse, um eine effiziente und effiziente Datenerfassung zu gewährleisten Zuverlässiger Datenfluss in die Datenplattform der Organisation
• Entwickeln und pflegen Sie wiederverwendbare Data Engineering- oder ETL-Pipelines und Codebasis mit Python, PySpark, Databricks, Airflow, REST-APIs und der Azure-Cloud-Plattform
• Entwerfen und implementieren Sie robuste Daten-APIs mithilfe von Python-Frameworks wie FastAPI oder Flask und stellen Sie sie im Azure App Service bereit.
• Arbeiten Sie mit funktionsübergreifenden Teams zusammen, um Datenanforderungen zu verstehen und skalierbare Data-Engineering-Lösungen bereitzustellen.
• Entwerfen und implementieren Sie Batch- und Streaming-Datenarchitekturen unter Nutzung von Azure-Clouddiensten wie Azure Data Factory und Azure Databricks.
• Tragen Sie zur Entwicklung und Bereitstellung von Apache Airflow auf dem Azure Kubernetes Service (AKS) bei.
• Stellen Sie sicher, dass Sie die Best Practices für die Softwareentwicklung einhalten, einschließlich Versionskontrolle, Tests und Prozesse für kontinuierliche Integration/kontinuierliche Bereitstellung (CI/CD).
• Nehmen Sie an Codeüberprüfungen, technischen Diskussionen und Wissensaustauschsitzungen im Team teil < /li>

Qualifikationen

• Gute Erfahrung in der Programmiersprache Python
• Nachgewiesene Erfahrung mit Apache Airflow und seinen Bereitstellungen im Azure Kubernetes Service
• Praktische Erfahrung mit Python-Frameworks wie FastAPI oder Flask und Bereitstellung von REST-APIs im Azure App Service
• Ausgeprägtes Verständnis der wichtigsten Konzepte und Prinzipien des Data Engineering
• Solide Erfahrungmit Azure-Clouddiensten, einschließlich Azure Data Factory und Azure Databricks
• Kenntnisse im Schreiben von PySpark-Code für die Datenverarbeitung und -transformation
• Fähigkeit, wiederverwendbare und skalierbare Data-Engineering-Pipelines und Codebasis zu entwerfen und zu implementieren < /li>
• Fundierte Kenntnisse der Software-Engineering-Entwicklungspraktiken, einschließlich Versionskontrolle, Tests und kontinuierlicher Integration/kontinuierlicher Bereitstellung (CI/CD)
• Erfahrung im Entwerfen von Batch- und Streaming-Datenarchitekturen mithilfe der Azure-Cloud-Plattform Dienstleistungen
• Effektive Fähigkeiten zur Problemlösung und die Fähigkeit, komplexe Data-Engineering-Probleme zu beheben
• Engagement für kontinuierliches Lernen und das Bleiben über Branchentrends und Best Practices im Data Engineering
< li> Starke Kommunikations- und Kooperationsfähigkeiten mit Englischkenntnissen
• Fähigkeit, effektiv in einer Teamumgebung zu arbeiten, Schulungen anzubieten und Prozesse zu dokumentieren

Schön zu haben:

• Vertrautheit mit Python-Tools wie Pytest, Tox, Poetry
• Vertrautheit mit Python-Test-Frameworks wie Pytest und Build-Tools wie Tox und Poetry
• Erfahrung im Erstellen von CI /CD-Pipelines und Arbeiten mit Git-basierten Versionskontrollsystemen
• Kenntnisse über Containerisierungstechnologien wie Docker und Kubernetes

Nortal bietet

• Familiäres Umfeld und persönliche Aufmerksamkeit für jeden Spezialisten
• Direkte Zusammenarbeit mit Kunden aus Europa und den USA und deren innovativen Produkten
• Wettbewerbsfähiges Gehalt und regelmäßige Bewertungen
• Die Work-Life-Balance, die Sie verdienen: 24 Arbeitstage bezahlter Urlaub
• Bildungserstattung, finanzierte Sprachkurse, Zertifizierungen
• "Benefit Café mit verschiedenen Kategorien wie Sport, Freizeit, Bücher, Treibstoff usw.
• Gesundheitsfürsorge: 10 bezahlte Krankheitstage, Krankenversicherung auf Abruf, Impfungen
• Gemütlicher Arbeitsplatz und WFH-Möglichkeiten
• Spannend Veranstaltungen und schöne Geschenke für Ihre Familie