Старший инженер по данным (#1295) в N-iX

О нашем клиенте:
Миссия OVO Group — способствовать прогрессу в обеспечении жизни с нулевым выбросом углерода. Мы — OVO Group, большая семья компаний, объединенных единой идеей: быстро достичь нулевого уровня выбросов углерода.
Мы называем это Планом ноль — и это показывает, как мы будем бороться с климатическим кризисом и преобразовывать как люди будут использовать энергию в следующем десятилетии. Для этого нам нужны самые острые умы. Готовы ли вы принять вызов?
Делайте великие экологические дела вместе с OVO Energy.
Многое изменилось с тех пор, как мы запустились в 2009 году. Однако наша цель остается прежней: производить энергию

< /p>

Обязанности:
Подтвержденный опыт проектирования, создания, мониторинга и управления крупномасштабными продуктами обработки данных, конвейерами, инструментами и платформами.
Работа над потоковой передачей. Решения ETL, использующие инструменты потоковой обработки данных (например, Kafka Streams, Kinesis, Spark или аналогичные). Разработка структуры решения для сегментации для перестройки текущего решения вместе с командой инженеров TS(JS).
Вы будете комфортно работать в гибкой среде разработки программного обеспечения и будете иметь опыт в CI/CD и стратегиях развертывания. Анализ текущей обработки данных с помощью Datadog или аналогичных решений.

Если у вас есть страсть к созданию масштабируемых и отказоустойчивых решений, и вам нравится влиять на выбор технологий и архитектурное направление команды, тогда посмотрите нет, дальше!

Требования:

• Знание лучших практик и методологий хранилища данных.
• 5 многолетний опыт работы в области разработки данных.
• Подтвержденный опыт проектирования, создания, мониторинга и управления крупномасштабными продуктами обработки данных, конвейерами, инструментами и платформами.
• Опыт работы над потоковой передачей ETL. решения, использующие инструменты потоковой обработки данных (например, Kafka Streams, Kinesis, Spark или аналогичные).
• Python или другой язык программирования (Scala, Typescript, Java, Kotlin).
• Опыт работы с BigQuery, Data Fusion
• Опыт разработки и обслуживания ETL.
• Опыт работы с облачным GCP (предпочтительно), AWS или Azure.
• Опыт администрирования баз данных и MSSQL будет преимуществом.
• Опыт работы с Docker и Kubernetes, Terraform будет плюсом.
• Уровень английского языка выше среднего.