Інженер даних в Kyivstar/Київстар

Команда Київстар Big Data шукає талановитого Data Engineer - спеціаліста в області розробки програмних рішень, з практичними навичками роботи з Cloud stack (бажано AWS), Open Source інструментами екосистеми Hadoop , розуміння процесів ETL та особливостей реалізації конвеєрів даних, які включають машинне навчання.

Необхідні навички:

• 2+ роки досвіду в розробка програмного забезпечення
• Досконале знання Python
• Досконале знання SQL
• Досконале знання принципів CI/CD
• Досвід проектування процесів та розробка процесів ETL для конвеєрів ML
• Досвід програмування на Python або Scala для Apache Spark
• Досвід тестової розробки та інтеграційного тестування

 Було б плюсом:

• Досвід роботи з бібліотеками Spark ML і Python ML
• Досвід роботи з Apache NiFi, Airflow
• Досвід роботи з хмарними технологіями
• Досвід роботи з Docker і Kubernetes
• Знайомство з дистрибутивами Hortonworks або Cloudera
• Досвід тестування та налаштування продуктивності< /li>

Обов’язки

• Розробка процесів ETL для конвеєрів машинного навчання
• Створення автоматизованих інструментів і розгортання моделей
• Автоматизувати процеси моніторингу якості моделі
• Розробити процедури автоматичного оновлення моделі, щоб уникнути «застарілості»
• Оптимізувати конвеєри та переглянути код Python/Spark

Ми пропонуємо:

• Роботу з величезними обсягами даних у найбільшого оператора в Україні
• Практичний досвід роботи з технологіями Big Data та інструменти
• Велика різноманітність завдань і проектів для використання ваших знань і навичок; гнучкість інструментів і підходів
• Можливість розвиватися в команді талановитих інженерів даних