Инженер данных в Maklai company

Maklai – украинская ИТ продуктовая компания, которая уже более 15 лет занимается разработкой продуктов на западном рынке в сфере travel. Один из наших крупных проектов – booked.net – сайт бронирования гостиниц по всему миру (7m+ клиентов ежемесячно из 37 стран 29+ языка). В связи с расширением ищем Data Engineer, который будет заниматься созданием и поддержкой Data Products, используя OLAP базы данных и архитектуры Data Lakehouse.Основные задачи:Разработка продуктов данных и изменение акцента с разработчиков программного обеспечения на Data Engineers.Повышение качества архитектуры хранения данных для оптимальной производительности и масштабируемости.Обеспечение быстрого и эффективного доступа к аналитическим данным в необходимом формате.Активное участие в разработке и внедрении архитектурных решений, с последующим переходом к стратегическому планированию и руководству в области архитектуры данных. Требования: Опыт работы с базами данных: Глубокое понимание и опыт работы с базами данных Clickhouse, MySQL. Опыт работы с системами обработки сообщений и потоковых данных для обработки сообщений и потоковых данных, включая, но не ограничиваясь, Kafka (распределенная потоковая платформа) и Redis (используется в компании для дежурства сообщений). Обработка больших данных: Доказан опыт управления и обработки масштабных данных (тысячи таблиц, миллиарды записей). программирование: Умение работать с Python и SQL. Знание форматов открытых таблиц: Знакомость с форматами открытых таблиц (Delta Lake, Apache Iceberg, Apache Hudi) и практический опыт. Опыт работы с CDC: Опыт работы с инструментами Change Data Capture, такими как Debezium, Flink, Airbyte. Понимание ELT-пайплайнов: Опыт работы с ELT-пайплайнами, включая Airflow, dbt, Airbyte. Знания и Навыки в Области Архитектуры Данных: Понимание основных принципов проектирования и управления архитектурой данных, включая моделирование данных, процессы интеграции и управления данными. Желание развиваться в качестве Data Architect. Будет плюсом: Разнообразный опыт с базами данных: Опыт работы с другими OLAP базами данных, data warehouses и data lakehouses. Опыт работы с сервисами очередей: Logstash Навыки программирования на Java: Знание Java. Знание контейнеризации: контейнеризации (Kubernetes). Знание каталогов данных: Понимание и опыт работы с каталогами данных (open-metadata, DataHub и др.) Опыт работы с Schema Registry: Практический опыт использования Schema Registry для управления версиями схем данных, обеспечения совместимости и интеграции схем в потоках данных. Знание принципов работы и оптимального использования Schema Registry в контексте систем обработки потоковых данных (например, Apache Kafka). Soft Skills: Открытость к новым технологиям и желание развиваться: Готовность к изучению новых технологий и желанию профессионального развития команде.Инициативность в решении задач.Гибкость. Перспективы развития: Профессиональный рост Data Architect: Возможность управлять процессом проектирования архитектуры данных и в дальнейшем – командой инженеров. Поддержка обучения и развития в этом направлении. Предлагаем: Большое количество данных и вычислительныхмощностей.Требования в виде near-realtime processing этих данных.Отсутствие бюрократии и возможность удаленной работы.Доброжелательный и сплоченный коллектив.Оплачиваемые отпуска, больничные, медицинское страхование.Компенсация посещения конференций, митапов, профильного обучения.Гибкий график работы. Голосеевская (можно работать удаленно).