Старший инженер Python (AWS, Kafka) в Luxoft

Старший инженер Python (AWS, Kafka)

удалено

• Описание проекта: Команда несёт ответственность за создание группы сервисов, которые будут вводить данные из вышестоящих систем в аналитическую платформу Nordstrom, преобразовывать и хранить. Система предоставит доступ к уже агрегированному профилю. Цель проекта — ускорить доставку всех данных, обеспечивая получение более свежих данных и более быстрое реагирование. Кроме того, кандидат должен быть готов к периодической поддержке по вызову в течение 12/7 часов.
• Обязанности: - реализация новых функций
  — проверка MR другими членами команды
  — исправление ошибок существующих функций
  — рефакторинг/перепроектирование существующего кода база
   — улучшить тестовое покрытие
    обновления инфраструктуры
     создать и отправить артефакты продукта в кластер dev/Prod
• Обязательные навыки Описание: - Опыт работы с Python от 4 лет
  — Опыт работы с AWS (S3, SQS, IAM, Secret Manager, KMS)
  — Apache Airflow
  — Apache Kafka
  — Apache Spark
  — опыт работы с SQL или хранилищем данных
  — опыт работы с инструментом контроля версий, сборки, CI/CD (предпочтительно GitLab-CI)
  — понимание основных концепций больших данных (Common, Spark и т. д.)
  — Опыт работы с JIRA, Confluence
  — умение работать с Java
  — Знакомство с методологией гибкой разработки (Scrum)
  — Четкие коммуникативные навыки (будем общаться во всех регионах)
  — Практический опыт работы с поддержкой по вызову
• Описание навыков, которые желательно иметь: – Опыт работы с Teradata
  – Практическое использование Kubernetes
  — Google Облачная платформа
   – опыт работы со стеком больших данных, особенно с Flink, Hive, Trino для SQL
   – Vault
     IaC (предп. Terraform)
• Языки:
  

  
  

  • Английский: B2 Upper Intermediate