Інженер Даних / Middle/Senior Data Engineer в Onseo

7 вересня 2024

Інженер Даних / Middle/Senior Data Engineer

Київ, Вінниця, віддалено

Ми шукємо досвідченого Інженера даних , який допоможе покращити продукт нашого партнера зі США. Протягом декількох років цей продукт успішно надає клієнтам можливість планування різноманітних заходів, спортивних занять та відпочинку за допомогою спеціалізованої технологічної платформи.

Вимоги:

• 3+ роки досвіду в  інженерії даних та побудови сховищ даних ;
• Досвід збирання великих, складних наборів даних, які відповідають функціональним / нефункціональним бізнес-вимогам;
• Досвід підтримки оптимальної архітектури конвеєра даних;
• Відмінні навички програмування на  Python ;
• Глибокий досвід роботи з  SQL запитами ;
• Досвід проєктування та оптимізації баз даних;
• Практичний досвід роботи з технологіями big data (наприклад, Spark, Hadoop );
• Досвід роботи з  PySpark для обробки big data;
• Досвід аналізу, перетворення та зберігання даних у зазначених форматах в середовищах big data;
• Розуміння основ розподілених обчислень;
• Досвід роботи з сервісами даних AWS та управління інфраструктурою;
• Досвід роботи з  AWS Lambda, Glue, RedShift, S3 ;
• Англійська на рівні не нижче Upper Intermediate (розмовна є обов’язковою).

Буде перевагою:

• Досвід роботи з  PowerBI;
• Досвід роботи з  Apache Airflow/MWAA , створення workflow DAGs та scheduling jobs.

Ключові обов’язки:

• Впровадження та підтримка сховища даних;
• Впровадження ETL конвеєрів для наповнення сховища даними з різних сховищ/API з гарантією узгодженості даних;
• Впровадження інструментів для стандартизованих внутрішніх та зовнішніх запитів до даних у різних форматах та місцях;
• Розбивка комплексних задач на досяжні для виконання завдання;
• Контроль продуктивності систем, нагляд за тим, щоб послідовність даних та затримка їх оновлення відповідали вимогам продукту.

Ми пропонуємо:

• Дружній та високопрофесійний колектив, демократичний менеджмент;
• Професійне зростання та навчання;
• Планування кар’єри та регулярні перевірки ефективності;
• Конкурентну заробітну плату;
• Медичне страхування та оплачувані лікарняні;
• Довгострокове працевлаштування з 24 календарними днями оплачуваної відпустки;
• Компенсацію спорту та уроки англійської мови;
• Роботу над цікавими проєктами з використанням передових технологій.

EN

We are looking for a  Middle/Senior Data Engineer who will join the development team to help improve the product of our American client. For last years, this product has been successfully providing customers with a service for planning various events, sports and leisure activities using a specialized platform.

Requirements:

• 3+ years досвід у  розробці даних та створенні сховищ даних;
• Зберіть великі складні набори даних, які відповідають функціональним / нефункціональним вимогам бізнесу.
• Підтримуйте оптимальну архітектуру конвеєра даних ;
• Вміння програмувати  Python ;
• Сильні навички надсилання запитів SQL ;
• Досвід проектування та оптимізації баз даних;
• Практичний досвід роботи з технологіями великих даних (наприклад, Spark, Hadoop) ;
• Досвід роботи з PySpark для обробки великих даних;
• Досвід аналізу, перетворення та зберігання даних у цих форматах у середовищах великих даних;
• Розуміння принципів розподілених обчислень;
• Досвід роботи з AWS службами даних та управлінням інфраструктурою;
• Володіння  AWS Lambda, Glue, RedShift, S3;
• Рівень англійської мови Upper Intermediate .

Буде плюсом:

• Досвід роботи з PowerBI;
• Досвід роботи з Apache Airflow/MWAA , створення робочих груп DAG і планування завдань.

Обов'язки:

• Впровадження та підтримка сховища даних;
• Впровадити конвеєри ETL, щоб наповнити сховище даних даними з різних сховищ/API із гарантованою узгодженістю даних;
• Впровадити інструменти для стандартизованих внутрішніх і зовнішніх запитів даних у різних форматах і місцях;
• Розбивати складні проблеми на виконувані завдання;
• Відстежуйте продуктивність системи, переконайтеся, що послідовність даних і затримка оновлення відповідають вимогам продукту.

Ми пропонуємо:

• дружню та високопрофесійну команду;
• Демократичне управління;
• Професійне зростання та навчання;
• Планування кар'єри та регулярні перевірки продуктивності;
• Конкурентна заробітна плата;
• Медична видача та оплачувані лікарняні;
• Довгострокова зайнятість з 24 календарними днями оплачуваної відпустки;
• Спортивна компенсація та уроки англійської мови;
• Працювати над цікавими проектами з використанням передових технологій.

Надсилаючи своє резюме, Ви тим самим даєте згоду на обробку своїх особистих персональних даних відповідно до Закону України «Про захист персональних даних» від 01.06.2010 р. № 2297-VІ з метою виявленої подальшої співпраці.