Mittlerer Big-Data-Ingenieur in KITRUM

— 3-4 Jahre Erfahrung in der Datentechnik mit der Erstellung oder Verwaltung von End-to-End-Datenpipelines für große, komplexe Datensätze. — Erfahrung in der Entwicklung skalierbarer Software mithilfe von Big-Data-Technologien (z. B. Hadoop, Spark, Hive, Flink, Samza, Storm, Elasticsearch , Druide, Cassandra usw. – Kenntnisse in Scala – Beherrschung mindestens eines SQL-Dialekts – Englischniveau: Obere Mittelstufe Als Pluspunkt – Erfahrung mit Streaming-Plattformen, typischerweise basierend auf Kafka – Starke Kenntnisse der AWS-Datenplattformdienste und ihre Stärken/Schwächen – Umfangreiche Erfahrung mit Jira, Slack, JetBrains-IDEs, Git, GitLab, GitHub, Docker, Jenkins, Terraform – Erfahrung mit DataBricks Client ist ein amerikanischer E-Book- und Hörbuch-Abonnementdienst, der eine Million Titel umfasst. Die Plattform hostet 60 Millionen Dokumente auf ihrer offenen Veröffentlichungsplattform. Die Plattform ermöglicht:— jedem, seine/ihre Ideen mit der Welt zu teilen;— Zugang zu Hörbüchern;— Zugang zu Komponisten der Welt, die ihre Musik veröffentlichen;— enthält Artikel von privaten Verlagen und Weltmagazine; – ermöglicht den Zugriff auf exklusive Inhalte. Die Core Platform bietet robuste und grundlegende Software und steigert die betriebliche Exzellenz zur Skalierung von Apps und Daten. Wir konzentrieren uns auf das Erstellen, Testen und Bereitstellen von Apps und Infrastruktur, die anderen Teams dabei helfen, schnell zu skalieren, zu interagieren, Echtzeitdaten zu integrieren und maschinelles Lernen in ihre Produkte zu integrieren. Durch die Zusammenarbeit mit unseren Kunden in den Bereichen Data Science und Content Engineering und unseren Kollegen in den Teams für interne Tools und Infrastruktur sorgen wir für Transparenz und Fokus auf Systemebene bei unseren Projekten. Das Ziel des Kunden ist nicht die völlige architektonische oder gestalterische Perfektion, sondern vielmehr die Wahl des richtigen Branchen- Ziel ist es, ein Gleichgewicht zwischen Geschwindigkeit, Qualität und Kosten zu finden. ,[ Datenqualität und -integrität verwalten, bei der Entwicklung von Tools und Technologien unterstützen, um sicherzustellen, dass nachgelagerte Kunden Vertrauen in die von ihnen genutzten Daten haben können, funktionsübergreifende Zusammenarbeit mit den Data Science- oder Content Engineering-Teams zur Fehlerbehebung, Verarbeitung oder Optimierung des Geschäfts -kritische Pipelines, Arbeiten mit der Core-Plattform zur Implementierung besserer Verarbeitungsjobs zur Skalierung des Verbrauchs von Streaming-Datensätzen] Anforderungen: Scala, Big Data, Hadoop, Spark, SQL Zusätzlich: Kleine Teams, internationale Projekte, Masterclazz-Schulung, Englischunterricht, freundliche Atmosphäre .