Инженер данных / Middle/Senior Data Engineer в Onseo

7 сентября 2024 г.

Инженер Данных / Middle/Senior Data Engineer

Киев, Винница, удаленно

Мы ищем опытного Инженера данных , который поможет улучшить продукт нашего партнера из США. В течение нескольких лет этот продукт успешно предоставляет клиентам возможность планирования различных мероприятий, спортивных занятий и отдыха с помощью специализированной технологической платформы.

Требования:

• 3+ года опыта в инженерии данных и построения < b> хранилищ данных ;
• Опыт сбора больших, сложных наборов данных, соответствующих функциональным/нефункциональным бизнес-требованиям;
• Опыт поддержки оптимальной архитектуры конвейера данных;
• Отличные навыки программирования на Python ;
• Глубокий опыт работы с SQL запросами ;
• Опыт проектирования и оптимизации баз данных;
• Практический опыт работы с технологиями big data (например, Spark, Hadoop );
• Опыт работы с PySpark для обработки big data;
• Опыт анализа, преобразования и хранения данных в указанных форматах в средах big data;
• Понимание основ распределенных вычислений;
• Опыт работы с сервисами данных AWS и управление инфраструктурой;
• Опыт работы с AWS Lambda, Glue, RedShift, S3 ;
• Английский на уровне не ниже Upper Intermediate (разговорный является обязательным).

Будет преимуществом:

• Опыт работы с PowerBI;
• Опыт работы с Apache Airflow/MWAA , создание workflow DAGs и scheduling jobs.

Ключевые обязанности:

• Внедрение и поддержка хранилища данных;
• Внедрение ETL конвейеров для наполнения хранилища данными из различных хранилищ/API с гарантией согласованности данных;
• Внедрение инструментов для стандартизированных внутренних и внешних запросов к данным в различных форматах и ​​местах;
• Разбивка комплексных задач на достижимые для выполнения задания;
• Контроль производительности систем, наблюдение за тем, чтобы последовательность данных и задержка их обновления соответствовали требованиям продукта.

Мы предлагаем:

• Дружественный и высокопрофессиональный коллектив, демократический менеджмент;
• Профессиональный рост и обучение;
• Планирование карьеры и регулярные проверки эффективности;
• Конкурентная заработная плата;
• Медицинское страхование и оплачиваемые больничные;
• Долгосрочное трудоустройство с 24 календарными днями оплачиваемого отпуска;
• Компенсацию спорта и уроки английского языка;
• Работу над интересными проектами с использованием передовых технологий.

EN

We are looking for a Middle/Senior Data Engineer Для того, чтобы разработать технологию для того, чтобы помочь improve Product of American Client. Для останніх років, цей продукт должен был успешно осуществлять клиентов с сервисом для планування різних заходів, спорта і волі діяльності використовуючи спеціалізовану платформу.

Requirements:

• 3+ years  опыта в  разработке данных и создании хранилищ данных;
• Собирать большие и сложные наборы данных, соответствующие функциональным и нефункциональным бизнес-требованиям.
• Поддерживать оптимальную архитектуру конвейера данных ;
• Знание программирования  Python ;
• Хорошие навыки выполнения SQL-запросов ;
• Опыт проектирования и оптимизации баз данных;
• Практический опыт работы с технологиями больших данных (например, Spark, Hadoop);
• Опыт работы с PySpark для обработки больших данных;
• Опыт анализа, преобразования и хранения данных в этих форматах в средах больших данных;
• Понимание принципов распределенных вычислений;
• Опыт работы с сервисами данных AWS и управлением инфраструктурой;
• Знание  AWS Lambda, Glue, RedShift, S3;
• Выше среднего Уровень английского языка.

Будет плюсом:

• Опыт работы с PowerBI;
• Опыт работы с Apache Airflow/MWAA , создания групп DAG рабочих процессов и планирования заданий.

Роль Обязанности:

• Внедрение и поддержка хранилища данных;
• Внедрите конвейеры ETL для заполнения хранилища данных данными из разных хранилищ/API с гарантированной согласованностью данных;
• Внедрить инструменты для стандартизированного внутреннего и внешнего запроса данных в различных форматах и ​​местах;
• Разбивайте сложные проблемы на выполнимые задачи;
• Контролируйте производительность системы, убедитесь, что согласованность данных и задержка обновления соответствуют требованиям продукта.

Мы предлагаем:

• Дружный и высокопрофессиональный коллектив;
• Демократическое управление;
• Профессиональный рост и обучение;
• Планирование карьеры и регулярные аттестации;
• Конкурентоспособная заработная плата;
• Медицинская страховка и оплачиваемые больничные;
• Долгосрочная работа с оплачиваемым отпуском продолжительностью 24 календарных дня;
• Спортивная компенсация и уроки английского языка;
• Работайте над интересными проектами с использованием передовых технологий.

Обращаясь к своему резюме, вы сами даєте згоду на подробное описание своих особенных индивидуальных особенностей в Законе Украины «Про сохранение персональных данных» от 01.06.2010 г. № 2297-VІ по методу мощной дополнительной поддержки.