Big Data Engineer (Umzug in den Nahen Osten) in Erbis

Über die Rolle:

Wir suchen talentierte Big-Data-Ingenieure, die sich unserem dynamischen Team für ein spannendes neues Projekt anschließen. Dies ist eine einzigartige Gelegenheit, an einer hochmodernen Initiative zu arbeiten und in einem schnelllebigen Umfeld ein Team von Grund auf aufzubauen. Wenn Sie sich für Big-Data-Technologien begeistern und bereit für eine neue Herausforderung sind, möchten wir von Ihnen hören!

Für dieses langfristige Projekt müssen Ingenieure so schnell wie möglich beitreten und in den Nahen Osten umziehen.

Anforderungen:

• Gute Kenntnisse in Hadoop und dem HDFS-Ökosystem.
• Mindestens drei Jahre Erfahrung im Data Engineering.
• Umfassende Vertrautheit mit der Cloudera Data Platform und ihren Laufzeitkomponenten.
• Ausgeprägtes Fachwissen mit Apache Spark.
• Praktische Erfahrung mit einer oder mehreren Programmiersprachen wie Python, Go oder Java.
• Solide Grundkenntnisse in Computersoftware, einschließlich Linux-Betriebssystemen , Speicher, Netzwerk-I/O und verwandte Prinzipien.
• Erfahrung mit Computer-, verteilten oder Big-Data-Systemen (z. B. Nginx, Kubernetes, Docker, OpenStack, Kafka) ist von Vorteil.
< li>Es wird dringend empfohlen, über gute Kenntnisse in den Bereichen Datenstruktur und Systemdesign zu verfügen.

Aufgaben:

• Überwachung der Einrichtung, Konfiguration, und Wartung von Hadoop-Clustern und dem HDFS-Ökosystem.
• Gewährleistung der Datenintegrität und -verfügbarkeit im gesamten verteilten Hadoop-Dateisystem.
• Skalierbare Datenpipelines entwerfen, entwickeln und warten.
• Implementieren Sie Datenerfassungsprozesse, um große Datenmengen effizient zu erfassen und zu speichern.
• Arbeiten Sie mit Datenwissenschaftlern und Analysten zusammen, um deren Datenanforderungen zu erfüllen.
• Verwalten und optimieren Sie die Cloudera-Datenplattform und seine Laufzeitkomponenten.
• Überwachen Sie die Systemleistung und beheben Sie Probleme, um eine hohe Verfügbarkeit und Zuverlässigkeit sicherzustellen.
• Entwickeln und warten Sie Apache Spark-Anwendungen für die Datenverarbeitung.
• Schreiben und pflegen Sie Code in Programmiersprachen wie Python, Go oder Java.
• Wenden Sie solide Grundkenntnisse über Computersoftware an, einschließlich Linux-Betriebssystemen, Speicher, Netzwerk-E/A und verwandten Prinzipien.
• Nutzen Sie Erfahrung mit Computer-, verteilten oder Big-Data-Systemen (z. B. Nginx, Kubernetes, Docker, OpenStack, Kafka).
• Wenden Sie ausgeprägte Datenstruktur- und Systemdesignfähigkeiten an, um zuverlässige Lösungen zu entwickeln.