Middle Java Data Engineer mit Kafka (DWH) in SoftConstruct Ukraine

13. September 2024

Middle Java Data Engineer mit Kafka (DWH)

віддалено

SoftConstruct Ukraine ist ein großes Produktunternehmen mit armenischer Sprache Wurzeln.

Wir entwickeln Lösungen in den Bereichen Big Data, Data Science und CryptoExchange. Wir kombinieren unser Fachwissen in der iGaming-Softwareentwicklung mit fortschrittlichen Technologien, um Originalsoftware wie Sportstatistiken, Risikoanalysen und Sicherheit zu entwickeln. In den meisten Fällen befassen wir uns mit atypischen Projekten für den Markt und versuchen, neue technologiebasierte Lösungen in unserem Bereich zu finden und zu generieren.

Wir unterstützen unsere Kollegen, die sich aktiv in allen Bereichen der Verteidigung unseres Landes engagieren, und helfen bei der Entwicklung von Lösungen und der technischen Sicherheitsunterstützung – dem Informationssektor des Staates. Wir sind bereit, Arbeit für IT-Spezialisten anzubieten, die diese benötigen.

Wenn Sie auf der Suche nach einer neuen herausfordernden Position in der Spezialisierung Java sind, bieten wir Ihnen gerne die Position eines Middle Java Engineer an.

Projekt:

Unsere Datenplattform ist ein Teil der B2B-Plattform und wurde entwickelt, um gute Leistung, Einfachheit, Parallelität und Kosten zu bieten. Effektivität bei der Datenerfassung, schnellen Analysen und der Gewinnung datengesteuerter Erkenntnisse für Geschäftsanwender.
Es basiert auf einer Lambda-Architektur und verwaltet große Datenmengen geschickt, indem es sowohl Batch- als auch Stream-Verarbeitungsmethoden nutzt. Dieser duale Ansatz gewährleistet ein Gleichgewicht zwischen Latenz, Durchsatz und Fehlertoleranz. Die Stapelverarbeitung bietet umfassende und genaue Ansichten großer Datensätze, während die Echtzeit-Stream-Verarbeitung sofortige Erkenntnisse aus Online-Daten bietet.

In Zahlen: – Bis zu 1 PB Daten von über 500 Partnern in der Langzeitspeicherung – Über 30 Millionen neue Datensätze täglich - Latenz für Erkenntnisse basierend auf der Datenbereitstellungszeit <5 Sek.

Das Team besteht aus:
Java-Ingenieuren, Python Ingenieure, DevOps-Ingenieure, Datenanalysten, Datenarchitekten, Projektmanager, Produktmanager.

Kompetenzen / Technischer Stack:
Kafka Streams, Kafka Connect, GCP, Google Dataflow (Apache Beam), BigQuery, SQL, Kubernetes , Java, DataHub, RabbitMQ, Redis, Neo4j.

Hauptaufgaben:
– Entwickeln, implementieren und automatisieren Sie verteilte Systembereitstellungen für die Ereigniserfassung und -verarbeitung aus mehreren Quellen;
— Datenschemata entwerfen und verwalten;
— Erstellen und pflegen Sie Kafka-Konnektoren, -Produzenten und -Konsumenten für effizientes Daten-Streaming und -Verarbeitung;
— Optimieren Sie die Leistung verteilter Systeme, um große Datenmengen effizient zu verarbeiten.
— Probleme in Datenpipelines und verteilten Systemen identifizieren und lösen, um einen reibungslosen Betrieb aufrechtzuerhalten;
– Arbeiten Sie mit DevOps-Teams zusammen, um Kafka-Cluster nach Bedarf bereitzustellen, zu überwachen und zu skalieren.

Must-haves:
– Ausgezeichnete Analyse- und Fehlerbehebungsfähigkeiten;
— Erfahrung mit der Kafka-Technologie, mit praktischer Produktionserfahrung und einem tiefen Verständnis der Kafka-Architektur und ihrer Funktionsweise sowie dem Zusammenspiel der Architekturkomponenten: Broker, Zookeeper, Produzenten/Konsumenten, Kafka Connect, KafkaStreams;
— Kenntnisse in der Schema-Registrierung;
— Verständnis der Überwachung der Kafka-Infrastruktur zusammen mit zugehörigen Komponenten (Connectors, KStreams und andere Produzenten-/Konsumenten-Apps);
– Erfahrung mit Container-Orchestrierungstools (z. B. Kubernetes).

Nice to haves:
– Erfahrung mit anderen Streaming-Datenverarbeitungs-Frameworks (z. B. Spark Streaming, Flink);
— Erfahrung mit Schema-Management-Tools (z. B. Avro, Protobuf);
— Erfahrung mit DevSecOps und Cloud-nativer Technologie mit Tools wie Docker, Kubernetes, Jenkins und Terraform.

Was können wir Ihnen bieten:
– Interessante und herausfordernde Arbeit in einem produkt- und datenorientierten Unternehmen;
— Viele Möglichkeiten, in Ihrer Karriere zu lernen, zu wachsen und voranzukommen;
— Jahresurlaub: 20 Arbeitstage pro Jahr;
— Alle bezahlten Krankheitstage mit einem ärztlichen Attest (keine Begrenzung der Häufigkeit. Einmalig wird es jedoch bis zu zwei Wochen lang bezahlt);
— Registrierung innerhalb von DiiaCity (Gig-Vertrag);
— Einzelunterricht in Englisch an der Online-Schule EnglishDom (Vergütung innerhalb von 50 % des Betrags der Ausgaben);
— 450 €/Jahresbudget für Training und/oder Sport (Vergütung innerhalb von 50 % der Ausgabenhöhe) nach der Probezeit;
— Kostenlose Krankenversicherung nach einer Probezeit.

Klingt interessant? Dann bewerben Sie sich jetzt und warten Sie nicht!
SoftConstruct ist ein cooler Arbeitsplatz, an dem Sie Spaß haben, Freunde finden und sich beruflich weiterentwickeln können.