Инженер по большим данным в lifecell

О должности: На этой должности вы будете работать с данными об активности клиентов одного из крупнейших операторов связи на рынке. Вы будете разрабатывать процессы ETL и конвейеры данных на платформах данных: хранилище данных, системы бизнес-аналитики и отчетности, а также платформу данных Hadoop. Вы будете участвовать в разработке и интеграции продуктов и услуг, управляемых данными, для внутренних и B2B-клиентов. Обязанности:Работа с аналитиками и заинтересованными сторонами бизнеса для уточнения их требований. Разработка процессов ETL, внедрение новых или расширение существующих витрин данных. Проектирование и разработка конвейеров обработки данных на платформе данных Hadoop. как для пакетного, так и для потокового режимов. Участвовать во внедрении и интеграции новых источников данных. Разрабатывать API для интеграции внешних систем с платформами данных. Выполнять анализ первопричин проблем с конвейерами данных, исправлять ошибки и настраивать производительность. Обеспечивать качество данных и управлять соглашениями об уровне обслуживания для платформ данных. Минимальная квалификация: 3 + многолетний опыт работы в качестве инженера по данным или разработчика баз данных. Опыт работы с СУБД, такими как Oracle или MySQL, опыт разработки SQL и PL/SQL и настройки производительности. Знание концепций хранилищ данных и опыт разработки ETL. Знание Python. Опыт работы с технологиями больших данных, такими как Hadoop, Spark, Hive, Kafka, HBase, Sqoop и другие инструменты. Опыт внедрения конвейеров машинного обучения с использованием Spark ML или Scikit-learn будет преимуществом. Опыт работы в сфере телекоммуникаций будет преимуществом. Хорошие аналитические навыки и навыки решения проблем.