Инженер данных в Kyivstar/Київстар

Команда «Киевстар Big Data» ищет талантливого Data Engineer — специалиста в области разработки программных решений, обладающего практическими навыками работы с Cloud stack (предпочтительно AWS), Open Source инструментами экосистемы Hadoop. понимание процессов ETL и особенностей реализации конвейеров данных, включая машинное обучение.

Необходимые навыки:

• 2+ года опыта в разработка программного обеспечения
• Хорошее знание Python
• Хорошее знание SQL
• Хорошее знание принципов CI/CD
• Опыт проектирования процессов и разработка процессов ETL для конвейеров машинного обучения.
• Опыт программирования на Python или Scala для Apache Spark.
• Опыт разработки через тестирование и интеграционного тестирования.

 Будет плюсом:

• Опыт работы с библиотеками Spark ML и Python ML
• Опыт работы с Apache NiFi, Airflow
• Опыт работы с облачными технологиями.
• Опыт работы с Docker и Kubernetes.
• Знакомство с дистрибутивами Hortonworks или Cloudera.
• Опыт тестирования и настройки производительности< /li>

Обязанности

• Разработка процессов ETL для трубопроводов ML
• Создание автоматизированного инструмента и развертывания моделей
• Автоматизировать процессы мониторинга качества модели.
• Разработать процедуры автоматического обновления модели, чтобы избежать «устаревания».
• Оптимизировать конвейеры и проверить код Python/Spark.

Мы предлагаем:

• Работу с огромными объемами данных у крупнейшего оператора Украины
• Практический опыт работы с технологиями Big Data и инструменты
• Большое разнообразие задач и проектов для использования ваших знаний и навыков; гибкость в инструментах и ​​подходах.
• Возможность расти в команде талантливых инженеров по обработке данных.