Администратор облачных данных (Spark) в NATEK Poland

Группа разработчиков BI находится в процессе перехода в облако Azure. Одним из основных направлений является администрирование Spark Clusters (PaaS). Присоединяйтесь к нам и станьте частью глобальной команды администраторов BI.

Вы будете работать с командой, расположенной в Германии, но весь проект выполняется удаленно. Общение происходит на английском языке.

Преимущества:

• Программа внутренней мобильности – множество возможностей для карьерного роста, ротации должностей, разнообразия проектов и технологий
< li> Реферальная программа – наслаждайтесь сотрудничеством с коллегами и получайте бонус!
• 5/10 лет Клубу НАТЭК – мы предлагаем долгосрочное сотрудничество и отмечаем каждый пятилетний юбилей сотрудничества подарками
< li> NATEK CSR Мероприятия и тимбилдинг – пользуйтесь нашими ценностями: ответственность, партнерство, опыт и #workITwithus
• Кафетерий
• Медицинское здравоохранение
• Карта мультиспортивного клуба
li>
• Техническое и личное обучение
• Языковые курсы

Дополнительно только для CoW:

• Страхование жизни
• Бонусы за личные мероприятия
• Выходной за волонтерство

ДЛЯ УСПЕХА НА ДАННОЙ РАБОТЕ НЕОБХОДИМО ИМЕТЬ: < /b>

• Мин. 4 года опыта работы с Apache Spark: Продвинутые знания архитектуры Spark, включая компоненты (RDD, DataFrames, Datasets).
• Очень хорошее знание Spark SQL.
• Умение устанавливать, конфигурировать, и поддержка кластеров Spark
• Понимание YARN
• Способность оптимизировать задания Spark, использование памяти и параллелизм
• Знакомство с инструментами мониторинга (предпочтительно: Grafana и Prometheus)
• Hadoop: HDFS, Hive и другие связанные технологии.
• Знание Python, pyspark и Spark SQL.
• Знание обеспечения безопасности кластеров и данных Spark.
• Способность устранять неполадки
• Опыт управления ИТ-командой
• Хорошее общение с разработчиками, инженерами по обработке данных и заинтересованными сторонами.
• Опыт работы в межфункциональных группах