Data Engineer Київ Команда Київстар Big Data шукає талановитого Data Engineer - фахівця в сфері девелопменту програмні рішення, з практичними навичками роботи з хмарним стеком (бажано AWS), інструментами з відкритим вихідним кодом екосистеми Hadoop, розумінням процесів ETL та особливостей впровадження конвеєрів даних, які включають машинне навчання. Необхідні навички: 2+ роки досвіду в розробці програмного забезпечення Глибоке знання Python Глибоке знання SQL Глибоке знання принципів CI
Data Engineer
Київ
Команда Київстар Big Data шукає талановитого Data Engineer - фахівця в сфері девелопменту програмні рішення, з практичними навичками роботи з хмарним стеком (бажано AWS), інструментами з відкритим вихідним кодом екосистеми Hadoop, розумінням процесів ETL та особливостей впровадження конвеєрів даних, які включають машинне навчання.
Необхідні навички:
- 2+ роки досвіду в розробці програмного забезпечення
- Глибоке знання Python
- Глибоке знання SQL
- Глибоке знання принципів CI/CD
- Досвід у проектуванні процесів і розробці процесів ETL для конвеєрів ML
- Досвід програмування в Python або Scala для Apache Spark
- Досвід у тестовій розробці та інтеграційному тестуванні
Буде плюсом:
< ul>
Досвід роботи з бібліотеками Spark ML і Python ML Досвід роботи з Apache NiFi, Airflow Досвід роботи з хмарними технологіями Досвід роботи з Docker і Kubernetes < /li> Знайомство з дистрибутивами Hortonworks або Cloudera Досвід тестування та налаштування продуктивності Обов’язки
- Розробка процесів ETL для конвеєрів ML
- Створення автоматизованих інструментів і розгортання моделей
- Автоматизація процесів моніторингу якості моделі
- Розробка процедур автоматичного оновлення моделі для уникати «застарілості»
- Оптимізувати конвеєри та переглянути код Python/Spark
Ми пропонуємо:
- Робота з величезними обсягами даних у найбільшого оператора в Україні
- Практичний досвід роботи з технологіями та інструментами Big Data
- Велика різноманітність завдань і проектів для використання ваших знань і навичок; гнучкість в інструментах і підходах
- Можливість зростати в команді талановитих інженерів даних