Инженер данных Киев Команда Киевстар по работе с большими данными ищет талантливого Инженера данных - специалиста в области разработки программные решения, обладающие практическими навыками работы со стеком Cloud (предпочтительно AWS), инструментами с открытым исходным кодом экосистемы Hadoop, пониманием процессов ETL и особенностями реализации конвейеров данных, включая машинное обучение. Необходимые навыки: 2+ года опыта в разработке программного обеспечения. Уверенное знание Python. Хор
Инженер данных
Киев
Команда Киевстар по работе с большими данными ищет талантливого Инженера данных - специалиста в области разработки программные решения, обладающие практическими навыками работы со стеком Cloud (предпочтительно AWS), инструментами с открытым исходным кодом экосистемы Hadoop, пониманием процессов ETL и особенностями реализации конвейеров данных, включая машинное обучение.
Необходимые навыки:
- 2+ года опыта в разработке программного обеспечения.
- Уверенное знание Python.
- Хорошее знание SQL
- Хорошее знание принципов CI/CD
- Опыт проектирования процессов и разработки ETL-процессов для конвейеров ML
- Опыт программирования в Python или Scala для Apache Spark
- Опыт разработки через тестирование и интеграционного тестирования
Будет плюсом:
< ul>
Опыт работы с библиотеками Spark ML и Python ML Опыт работы с Apache NiFi, Airflow Опыт работы с облачными технологиями Опыт работы с Docker и Kubernetes < /li> Знакомство с дистрибутивами Hortonworks или Cloudera Опыт тестирования и настройки производительности Обязанности
- Разработка процессов ETL для конвейеров машинного обучения
- Создание автоматизированных инструментов и развертывание моделей
- Автоматизация процессов мониторинга качества модели
- Разработка процедур автоматического обновления моделей для избегать «устаревания»
- Оптимизировать конвейеры и проверять код Python/Spark
Мы предлагаем:
- Работа с огромными объемами данных у крупнейшего оператора Украины
- Практический опыт работы с технологиями и инструментами Big Data
- Большое разнообразие задач и проектов для использования ваших знаний и навыков; гибкость в инструментах и подходах
- Возможность роста в команде талантливых инженеров по работе с данными