Dateningenieur in Maklai company

Maklai ist ein ukrainisches IT-Produktunternehmen, das seit über 15 Jahren Reiseprodukte für den westlichen Markt entwickelt. Eines unserer großen Projekte ist booking.net – eine weltweite Hotelbuchungsseite (über 7 Millionen monatliche Kunden aus 37 Ländern und über 29 Sprachen). Aufgrund der Expansion suchen wir einen Dateningenieur für die Erstellung und Pflege von Datenprodukten unter Verwendung von OLAP-Datenbank- und Architekturdaten Hauptaufgaben: Entwicklung von Datenprodukten und Verlagerung des Fokus von Softwareentwicklern auf Dateningenieure. Gewährleistung eines schnellen und effizienten Zugriffs auf analytische Daten im erforderlichen Format und Implementierung von Architekturlösungen, mit anschließendem Übergang zur strategischen Planung und Führung im Bereich Datenarchitektur. Anforderungen: Erfahrung mit Datenbanken: Tiefes Verständnis und Erfahrung mit Clickhouse-Datenbanken, MySQL Erfahrung mit Messaging- und Streaming-Systemen: Erfahrung mit verschiedenen Plattformen für Nachrichtenverarbeitung und Streaming-Daten, einschließlich, aber nicht beschränkt auf Kafka (verteilte Streaming-Plattform) und Redis (im Unternehmen für die Nachrichtenwarteschlange verwendet): Nachgewiesene Erfahrung in der Verwaltung und Verarbeitung großer Datenmengen (Tausende Tabellen, Milliarden Datensätze). ). Fähigkeiten Programmierung: Kenntnisse in Python und SQL. Kenntnisse über offene Tabellenformate: Vertrautheit mit offenen Tabellenformaten (Delta Lake, Apache Iceberg, Apache Hudi) und praktische Erfahrung. CDC-Erfahrung: Erfahrung mit Change Data Capture-Tools wie Debezium , Flink, Airbyte. Verständnis von ELT-Pipelines: Erfahrung mit ELT-Pipelines einschließlich Airflow, dbt, Airbyte. Wissen und Fähigkeiten zur Datenarchitektur: Verständnis der Grundprinzipien des Entwurfs und der Verwaltung von Datenarchitekturen, einschließlich Datenmodellierung, Integrationsprozessen und Datenverwaltung. Bereitschaft, sich in die Rolle des Datenarchitekten weiterzuentwickeln: Vielfältige Erfahrung mit Datenbanken: Erfahrung mit anderen OLAP-Datenbanken, Data Warehouses und Data Lakehouses: Logstash-Java-Programmierkenntnisse: Kenntnisse in Java. Vertrautheit mit Containerisierungstechnologien (Kubernetes). Kenntnisse über Datenkataloge: Verständnis und Erfahrung mit Datenkatalogen (Open-Metadata, DataHub usw.). Erfahrung mit Schema Registry: Praktische Erfahrung mit Schema Registry, um Versionen von Datenschemata zu verwalten und Kompatibilität und Integration sicherzustellen von Schemata in Datenflüssen. Kenntnisse über die Funktionsweise und den optimalen Einsatz von Schema Registry im Kontext von Streaming-Datenverarbeitungssystemen (z. B. Apache Kafka). Soft Skills: Offenheit für neue Technologien und Entwicklungswille: Bereitschaft, neue Technologien zu erlernen und Lust darauf berufliche Weiterentwicklung. Die Fähigkeit, bei der Lösung von Problemen sowohl selbständig als auch im Team zu arbeiten. Entwicklungsaussichten: Berufliche Entwicklung zum Datenarchitekten: Fähigkeit, den Entwurfsprozess der Datenarchitektur und in Zukunft ein Team von Ingenieuren zu verwalten. Unterstützung für Schulung und Entwicklung in dieser Richtung. Wir bieten: Eine große Menge an Daten und ComputernAnforderungen in Form einer zeitnahen Verarbeitung dieser Daten und der Möglichkeit von Fernarbeit. Bezahlter Urlaub, Krankenversicherung Arbeitsplan. Komfortables Büro unweit der U-Bahn Holosiivska (Sie können aus der Ferne arbeiten).