Dateningenieur in Maklai

29. August 2024

Data Engineer

Kiew

Maklai ist ein ukrainisches IT-Produktunternehmen, das seit über 15 Jahren Produkte entwickelt den westlichen Markt im Reisebereich. Eines unserer großen Projekte ist booking.net, eine weltweite Hotelbuchungsseite (über 7 Millionen monatliche Kunden aus 37 Ländern und über 29 Sprachen).

Im Zusammenhang mit der Erweiterung suchen wir einen Data Engineer , der Datenprodukte mithilfe der OLAP-Datenbank und der Data Lakehouse-Architektur erstellt und verwaltet.

Hauptaufgaben:

• Entwicklung von Datenprodukten und Schwerpunktverlagerung vom Softwareentwickler zum Dateningenieur.
• Verbesserung der Qualität der Datenspeicherarchitektur für optimale Leistung und Skalierbarkeit.
• Bereitstellung eines schnellen und effektiven Zugriffs auf Analysedaten im erforderlichen Format.
• Aktive Mitarbeit bei der Entwicklung und Umsetzung architektonischer Lösungen, mit weiterem Übergang zur strategischen Planung und Führung im Bereich Datenarchitektur.

Anforderungen:

• Erfahrung im Umgang mit Datenbanken: Tiefes Verständnis und Erfahrung im Umgang mit Datenbankdaten von Clickhouse, MySQL.
• Erfahrung mit Messaging- und Streaming-Systemen: Erfahrung mit verschiedenen Messaging- und Streaming-Plattformen, einschließlich, aber nicht beschränkt auf Kafka (verteilte Streaming-Plattform) und Redis (wird im Unternehmen für Messaging verwendet) .
• Big Data-Verarbeitung: Nachgewiesene Erfahrung in der Verwaltung und Verarbeitung großer Datenmengen (Tausende Tabellen, Milliarden Datensätze).
• Programmierkenntnisse: Fähigkeit, mit Python und SQL zu arbeiten.
• Kenntnisse über offene Tabellenformate: Vertrautheit mit offenen Tabellenformaten (Delta Lake, Apache Iceberg, Apache Hudi) und praktische Erfahrung.
• Erfahrung mit CDC: Erfahrung mit Change Data Capture-Tools wie Debezium, Flink, Airbyte.
• Verständnis von ELT-Pipelines: Erfahrung mit ELT-Pipelines, einschließlich Airflow, dbt, Airbyte.
• Kenntnisse und Fähigkeiten zur Datenarchitektur: Verständnis der Grundprinzipien des Entwurfs und der Verwaltung von Datenarchitekturen, einschließlich Datenmodellierung, Integrationsprozessen und Datenverwaltung. Wunsch, sich zu einer Rolle als Datenarchitekt zu entwickeln.

Wäre von Vorteil:

• Verschiedene Erfahrungen mit Datenbanken: Erfahrung mit anderen OLAP-Datenbanken Daten, Data Warehouses und Data Lakehouses.
• Erfahrung mit Warteschlangendiensten: Logstash
• Java-Programmierkenntnisse: Kenntnisse in Java.
• Kenntnisse in Containerisierung: Vertrautheit mit Containerisierungstechnologien (Kubernetes).
• Kenntnisse über Datenverzeichnisse: Verständnis und Erfahrung mit Datenverzeichnissen (Open-Metadata, DataHub usw.)
• Erfahrung mit Schema Registry: < /b> Praktische Erfahrung mit Schema Registry, um Datenschemaversionen zu verwalten, Kompatibilität sicherzustellen und Schemas in Datenflüsse zu integrieren. Kenntnisse der Funktionsprinzipien und der optimalen Nutzung von Schema Registry im Kontext von Streaming-Datenverarbeitungssystemen (z. B. Apache Kafk).A).

Soft Skills:

• Offenheit für neue Technologien und Lust sich weiterzuentwickeln: Lernbereitschaft neue Technologien und Wunsch nach beruflicher Weiterentwicklung.
• Fähigkeit, sowohl selbstständig als auch im Team zu arbeiten.
• Initiative bei der Lösung von Problemen.
• Flexibilität.

Entwicklungsaussichten:

• Beruflicher Aufstieg zum Datenarchitekten: Fähigkeit, die Datenarchitektur zu verwalten Designprozess und in Zukunft durch das Engineering-Team. Unterstützung für Aus- und Weiterbildung in diese Richtung.

Wir bieten:

• Eine große Datenmenge und Rechenleistung.
• Anforderungen in Form einer zeitnahen Verarbeitung dieser Daten.
• Keine Bürokratie und die Möglichkeit der Fernarbeit.
• Freundliches und eingespieltes Team.
• Bezahlter Urlaub, Krankheitsurlaub, Krankenversicherung.
• Vergütung für die Teilnahme an Konferenzen, Meetups und Fachschulungen.
• Flexibler Arbeitsplan.
• Komfortables Büro unweit der U-Bahn-Station Holosiivska (kann aus der Ferne arbeiten).