Leitender Spark-Ingenieur – Remote in Link Group

Wir suchen einen sehr erfahrenen Senior Spark Engineer mit umfassenden Fachkenntnissen in Apache Spark, insbesondere in der Leistungsoptimierung und der Verwaltung zyklischer Spark-Datenflüsse. Der Kandidat sollte über Kenntnisse in der Fehlerbehebung und Optimierung von Echtzeit-Datenverarbeitungssystemen verfügen, einschließlich der Anpassung des Catalyst Optimizer. Erfahrung im Umgang mit föderierten Datensystemen und verteilten Computerumgebungen ist ebenso erforderlich wie die Fähigkeit, externe Systeme und APIs zu integrieren. Die Rolle umfasst die Optimierung der Spark-Pipeline-Leistung in großen Multi-Cloud-Umgebungen.

Warum sollten Sie bei uns mitmachen?

• Werden Sie Teil eines zukunftsorientierten, technologieorientierten Teams.
• Arbeiten Sie an hochmodernen verteilten Systemen unter Verwendung föderierter Modelle.
• Arbeiten Sie mit Experten für Cloud Computing, Big Data und Data Engineering zusammen.
• Möglichkeiten für berufliche Weiterentwicklung und kontinuierliches Lernen.

Erforderliche Fähigkeiten und Erfahrung :

• Apache Spark: Fortgeschrittene Erfahrung in der Abstimmung, Optimierung und Anpassung des Spark Catalyst Optimizer für maximale Leistung.
• Scala- und Java-Kenntnisse : Umfangreiche praktische Erfahrung mit Scala und Java in Spark-basierten verteilten Systemen.
• Federated Data Models : Nachgewiesene Erfahrung in der Verwaltung von föderierten Datensystemen in Multi-Cloud-Umgebungen (z. B. AWS, GCP, Azure).
• Verteiltes Rechnen : Tiefes Verständnis der Prinzipien des verteilten Rechnens, einschließlich Aufgabenplanung, Ressourcenmanagement, Fehlertoleranz und Clusteroptimierung.
• Leistungsoptimierung : Nachgewiesene Fachkompetenz bei der Optimierung von Spark-Pipelines für große, hochvolumige Systeme.
• API-Integration : Erleben Sie die Integration von Spark mit Systemen und APIs von Drittanbietern, um Daten-Workflows zu optimieren.
• Front-End-Entwicklung : Grundlegende bis mittlere Kenntnisse in der Front-End-Entwicklung zur Zusammenarbeit bei der Erstellung von Überwachungs-Dashboards für Spark-Systeme.
• Softwareentwicklung : Starke Programmiergrundlagen, Erfahrung mit Versionskontrolle (Git) und ein solides Verständnis von CI/CD-Pipelines.

Bevorzugte Qualifikationen :

• Erfahrung mit Kubernetes für die Verwaltung von Spark-Clustern in Containerumgebungen.
• Vertrautheit mit Cloud-Plattformen wie AWS, GCP oder Azure.
• Kenntnisse in SQL und Datenbankintegration mit Spark.
• Erfahrung mit Big-Data-Tools (z. B. Hadoop, Kafka), die zusammen mit Spark verwendet werden.

Wir sind auf der Suche nach einem sehr erfahrenen Senior Spark Engineer mit umfassenden Fachkenntnissen in Apache Spark, insbesondere in Leistungsoptimierung und Verwaltung zyklischer Spark-Datenflüsse. Der Kandidat sollte über Kenntnisse in der Fehlerbehebung und Optimierung von Echtzeit-Datenverarbeitungssystemen verfügen, einschließlich der Anpassung des Catalyst Optimizer. Erfahrung im Umgang mit föderierten Datensystemen und verteilten Computerumgebungen ist ebenso erforderlich wie die Fähigkeit, externe Systeme und APIs zu integrieren. Die Rolle umfasst die Optimierung der Spark-Pipeline-LeistungOrmance in großen Multi-Cloud-Umgebungen.

Warum sollten Sie bei uns mitmachen?

• Werden Sie Teil eines zukunftsorientierten, technologieorientierten Teams.
• Arbeiten Sie an hochmodernen verteilten Systemen unter Verwendung föderierter Modelle.
• Arbeiten Sie mit Experten für Cloud Computing, Big Data und Data Engineering zusammen.
• Möglichkeiten für berufliche Weiterentwicklung und kontinuierliches Lernen.

,[Expertise in Apache Spark: Nutzen Sie fundierte Kenntnisse über Spark, einschließlich Leistungsoptimierung, Abfrageoptimierung und Anpassung des Catalyst Optimizer für verteilte Systeme., Federated Data Systems : Entwerfen, implementieren und verwalten Sie Datenworkflows in Verbundmodellen in Multi-Cloud-Umgebungen., Leistungsoptimierung: Diagnostizieren und beheben Sie Engpässe in Spark-Jobs, um eine skalierbare und effiziente Leistung auf großen Clustern sicherzustellen., Verteiltes Computing: Verwalten Sie Spark-Cluster, überwachen Sie die Aufgabenplanung , Ressourcenzuweisung und Gewährleistung der Fehlertoleranz in verteilten Umgebungen., API-Integration: Verbinden Sie Spark-Anwendungen mit externen Systemen und APIs, um Datenverarbeitungsabläufe zu verbessern., Scala- und Java-Entwicklung: Wenden Sie fundierte Kenntnisse in Scala und Java an, um sie zu erstellen, zu warten und zu optimieren Verteilte Echtzeitanwendungen in Spark., Front-End-Zusammenarbeit: Arbeiten Sie mit Front-End-Entwicklern und Datenteams zusammen, um Benutzeroberflächen zur Überwachung der Spark-Pipeline-Leistung zu erstellen und bereitzustellen., CI/CD und Versionskontrolle: CI/CD-Pipelines entwickeln und verwalten um zuverlässige Softwareentwicklungspraktiken, Versionskontrolle und automatisierte Bereitstellung für verteilte Anwendungen sicherzustellen.] Benutzer: Apache Spark, Spark, Scala, Java, Datenmodelle, verteiltes Computing, API, Front-End-Entwicklung, Git, CI/CD-Pipelines, Kubernetes , AWS, GCP, Azure, SQL, Big Data, Hadoop, Kafka Instrumente: Agile, Scrum.