Адміністратор хмарних даних (Spark) @ NATEK Польща в NATEK Poland

Команда розробників BI переходить у хмару Azure. Одним із основних напрямків є адміністрування Spark Clusters (PaaS). Приєднуйтесь до нас і станьте частиною глобальної команди адміністраторів BI.

Ви працюватимете з командою з Німеччини, але весь проект виконується дистанційно. Спілкування відбувається англійською мовою.

Переваги: ​​

• Програма внутрішньої мобільності – насолоджуйтеся багатьма можливостями для кар’єрного зростання, ротації робочих місць, різноманітністю проектів і технологій
< li> Реферальна програма – насолоджуйтесь співпрацею з колегами та отримуйте бонус!
• 5/10 Years NATEK Club – ми пропонуємо довгострокову співпрацю та відзначаємо кожну п’ятиріччя співпраці подарунками
< li> NATEK CSR Events & team buildings – насолоджуйтесь нашими цінностями: підзвітність, партнерство та досвід і #workITwithus
• Кафетерій
• Медицина Healthcare
• Multisport Club Card
• Технічне та персональне навчання
• Мовні курси

Додатково лише для CoW:

• Страхування життя. /b>
  • Мін. 4 роки досвіду роботи з Apache Spark: передові знання архітектури Spark, включаючи компоненти (RDD, DataFrames, набори даних)
  • Дуже добре знання Spark SQL
  • Вміння налаштовувати, конфігурувати, і підтримка кластерів Spark
  • Розуміння YARN
  • Здатність оптимізувати завдання Spark, використання пам’яті та паралелізм
  • Знайомство з інструментами моніторингу (бажано: Grafana та Prometheus)
  • Hadoop: HDFS, Hive та інші пов’язані технології.
  • Знання Python, pyspark і spark SQL.
  • Знання захисту кластерів і даних Spark.
  • Уміння вирішувати проблеми.
  • Досвід керування ІТ-командою.
  • Добре спілкування з розробниками, інженерами з обробки даних та зацікавленими сторонами.
  • Досвід роботи в міжфункціональних командах

  Команда розробників BI переходить у хмару Azure. Одним із основних напрямків є адміністрування Spark Clusters (PaaS). Приєднуйтесь до нас і станьте частиною глобальної команди адміністраторів BI.

  Ви працюватимете з командою з Німеччини, але весь проект виконується дистанційно. Спілкування відбувається англійською мовою.

  Переваги: ​​

  • Програма внутрішньої мобільності – насолоджуйтесь багатьма можливостями для кар’єрного зростання, ротації робочих місць, різноманітністю проектів і технологій
  < li> Реферальна програма – насолоджуйтесь співпрацею з колегами та отримуйте бонус!
  • 5/10 Years NATEK Club – ми пропонуємо довгострокову співпрацю та відзначаємо кожну п’ятиріччя співпраці подарунками
  < li> NATEK CSR Events & team buildings – насолоджуйтесь нашими цінностями: підзвітність, партнерство та досвід і #workITwithus
  • Кафетерій
  • Медицина Healthcare
  • Multisport Club Card
  • Технічне та персональне навчання
  • Мовні курси

  Додатково лише для CoW:

  • Страхування життя.робочі простори es і MS Synapse, включаючи кластери Spark з використанням оновлених версій Terraform Spark, використання Kafka, Oracle тощо, керування ресурсами, використання пам’яті, оптимізацію використання ЦП і ресурсів для програми Spark, запуск і запуск виконавців на робочих вузлах, моніторинг продуктивності виконавців і масштабованість, виявлення збоїв робочого вузла обробки, перерозподіл ресурсів і перезапуск завдань іскри, моніторинг працездатності кластера Spark, використання ресурсів і показників виконання завдань, моніторинг за допомогою Grafana та Prometheus, налаштування продуктивності шляхом точного налаштування параметрів Spark, робота з розробниками та допомога в для вдосконалення коду, керування ІТ-командою]
    Вимоги: Apache Spark, Spark, Spark SQL, Yarn, Grafana, Prometheus, HDFS, Hive, Python
    Додатково: картка Multisport, реферальна програма, кафетерій, приватне медичне обслуговування, страхування життя та групи, мовні курси.