Інженер даних в Maklai company

Maklai – українська ІТ продуктова компанія, яка вже понад 15 років займається розробкою продуктів на західний ринок в сфері travel. Один з наших великих проектів – booked.net – сайт бронювання готелів по всьому світу (7m+ клієнтів щомісяця з 37 країн 29+ мови).У звʼязку з розширенням шукаємо Data Engineer, який займатиметься створенням та підтримкою Data Products, використовуючи OLAP бази даних та архітектури Data Lakehouse.Основні завдання:Розробка продуктів даних та зміна акценту з розробників програмного забезпечення на Data Engineers.Підвищення якості архітектури зберігання даних для оптимальної продуктивності та масштабованості.Забезпечення швидкого та ефективного доступу до аналітичних даних у необхідному форматі.Активна участь у розробці та впровадженні архітектурних рішень, з подальшим переходом до стратегічного планування та керівництва в області архітектури даних.Вимоги:Досвід роботи з базами даних: Глибоке розуміння та досвід роботи з базами даних Clickhouse, MySQL.Досвід роботи з системами обробки повідомлень та потокових даних: Досвід роботи з різними платформами для обробки повідомлень та потокових даних, включаючи, але не обмежуючись, Kafka (розподілена потокова платформа) та Redis (використовується в компанії для чергування повідомлень).Обробка великих даних: Доведений досвід управління та обробки масштабних даних (тисячі таблиць, мільярди записів).Навички програмування: Вміння працювати з Python та SQL.Знання форматів відкритих таблиць: Знайомість з форматами відкритих таблиць (Delta Lake, Apache Iceberg, Apache Hudi) та практичний досвід.Досвід роботи з CDC: Досвід роботи з інструментами Change Data Capture, такими як Debezium, Flink, Airbyte.Розуміння ELT-пайплайнів: Досвід роботи з ELT-пайплайнами, включаючи Airflow, dbt, Airbyte.Знання та Навички в Області Архітектури Даних: Порозуміння основних принципів проектування та управління архітектурою даних, включаючи моделювання даних, процеси інтеграції та управління даними. Бажання розвиватися до ролі Data Architect.Буде плюсом:Різноманітний досвід з базами даних: Досвід роботи з іншими OLAP базами даних, data warehouses і data lakehouses.Досвід роботи з сервісами черг: LogstashНавички програмування на Java: Знання Java.Знання контейнеризації: Ознайомленість з технологіями контейнеризації (Kubernetes).Знання каталогів даних: Розуміння та досвід роботи з каталогами даних (open-metadata, DataHub тощо)Досвід роботи з Schema Registry: Практичний досвід використання Schema Registry для управління версіями схем даних, забезпечення сумісності та інтеграції схем у потоках даних. Знання принципів роботи та оптимального використання Schema Registry в контексті систем обробки потокових даних (наприклад, Apache Kafka).Soft Skills:Відкритість до нових технологій та бажання розвиватися: Готовність до вивчення нових технологій і бажання професійного розвитку.Вміння працювати як самостійно, так і в команді.Ініціативність в рішенні задач.Гнучкість. Перспективи розвитку:Професійний ріст до Data Architect: Можливість керувати процесом проектування архітектури даних та надалі – командою інженерів. Підтримка навчання та розвитку в цьому напрямку.Пропонуємо:Велика кількість даних та обчислювальнихпотужностей.Вимоги у вигляді near-realtime processing цих даних.Відсутність бюрократії та можливість віддаленої роботи.Доброзичливий та згуртований колектив.Оплачувані відпустки, лікарняні, медичне страхування.Компенсація відвідування конференцій, мітапів, профільного навчання.Гнучкий графік роботи.Комфортний офіс неподалік від метро Голосіївська (можна працювати віддалено).