Инженер данных в Maklai

29 августа 2024 года

Data Engineer

Киев

Maklai — украинская ИТ продуктовая компания, которая уже более 15 лет занимается разработкой продуктов на западный рынок в сфере travel. Один из наших крупных проектов — booked.net — сайт бронирования гостиниц по всему миру (7m+ клиентов ежемесячно из 37 стран 29+языка).

В связи с расширением ищем Data Engineer, который будет заниматься созданием и поддержкой Data Products, используя OLAP базы данных и архитектуры Data Lakehouse.

Основные задачи:

• Разработка продуктов данных и изменение акцента с разработчиков программного обеспечения на Data Engineers.
• Повышение качества архитектуры хранения данных для оптимальной производительности и масштабируемости.
• Обеспечение быстрого и эффективного доступа к аналитическим данным в необходимом формате.
• Активное участие в разработке и внедрении архитектурных решений, с дальнейшим переходом к стратегическому планированию и руководству в области архитектуры данных.

Требования:

• Опыт работы с базами данных: Глубокое понимание и опыт работы с базами данных Clickhouse, MySQL.
• Опыт работы с системами обработки сообщений и потоковых данных: Опыт работы с различными платформами для обработки сообщений и потоковых данных, включая, но не ограничиваясь, Kafka (распределенная потоковая платформа) и Redis (используется в компании для дежурства сообщений).
• Обработка больших данных: Доказан опыт управления и обработки масштабных данных (тысячи таблиц, миллиарды записей).
• Навыки программирования: Умение работать с Python и SQL.
• Знание форматов открытых таблиц: Знакомость с форматами открытых таблиц (Delta Lake, Apache Iceberg, Apache Hudi) и практический опыт.
• Опыт работы с CDC: Опыт работы с инструментами Change Data Capture, такими как Debezium, Flink, Airbyte.
• Понимание ELT-пайплайнов: Опыт работы с ELT-пайплайнами, включая Airflow, dbt, Airbyte.
• Знания и Навыки в области Архитектуры Данных: Понимание основных принципов проектирования и управления архитектурой данных, включая моделирование данных, процессы интеграции и управления данными. Желание развиваться до роли Data Architect.

Будет плюсом:

• Разнообразный опыт с базами данных: Опыт работы с другими OLAP базами данных, data warehouses и data lakehouses.
• Опыт работы с сервисами очередей: Logstash
• Навыки программирования на Java: Знание Java.
• Знание контейнеризации: Ознакомленность с технологиями контейнеризации (Kubernetes).
• Знание каталогов данных: Понимание и опыт работы с каталогами данных (open-metadata, DataHub и др.)
• Опыт работы с Schema Registry: < /b> Практический опыт использования Schema Registry для управления версиями схем данных, обеспечения совместимости и интеграции схем в потоках данных. Знание принципов работы и оптимального использования Schema Registry в контексте систем обработки потоковых данных (например, Apache Kafka).

Soft Skills:

• Открытость к новым технологиям и желание развиваться: Готовность к изучению новых технологий и желание профессионального развития.
• Умение работать как самостоятельно, так и в команде.
• Инициативность в решении задач.
• Гибкость.

Перспективы развития:

• Профессиональный рост к Data Architect: Возможность управлять процессом проектирования архитектуры данных и в дальнейшем — командой инженеров. Поддержка обучения и развития в этом направлении.

Предлагаем:

• Большое количество данных и вычислительных мощностей.
• Требования в виде near realtime processing этих данных.
• Отсутствие бюрократии и возможность удаленной работы.
• Доброжелательный и сплоченный коллектив.
• Оплачиваемые отпуска, больничные, медицинское страхование.
• Компенсация посещения конференций, митапов, профильного обучения.
• Гибкий график работы.
• Комфортный офис неподалеку от метро Голосеевская (можно работать удаленно).