Старший инженер данных в Limango Polska

Старший инженер по данным @ Limango

Удаленно/Вроцлав

Контракт B2B – дневная ставка 900-1250 злотых

Ваша роль и основные задачи

• Разработка платформы данных Central Lakehouse на базе экосистемы AWS/Databricks
• Управление инфраструктурой данных (Terraform AWS/Databricks) и ETL-кодом (PySpark, Delta) Live Tables, SparkSQL).
• Внедрение в систему мониторинга, тестов качества данных, модульного тестирования кода и автоматических оповещений.
• Рефакторинг устаревших решений AWS (AWS Glue, Redshift) в контролируемые и CI/CD развернула экосистему Lakehouse с ожиданием данных и тестированием качества данных.
• Активная поддержка построения архитектуры Medalion Lakehouse для данных машинного обучения и аналитики, а также внедрение концепций сетки данных.
• Активная поддержка бизнес-аналитики. и команды ML, работающие над платформой данных

Вам потребуется

• степень в области информационных систем, информатики, математики/физики. , инженерное дело или смежная область
• несколько лет опыта создания решений для обработки данных (в идеале в электронной коммерции)
• очень хорошее знание программирования Python (создание приложений, автоматическое тестирование, упаковка и развертывание) 
• реальный опыт обработки данных PySpark и хорошее понимание архитектуры механизма обработки Spark.
• Продвинутые навыки обработки SQL.
• опыт работы с архитектурой озер данных и моделированием данных. парадигмы
• опыт развертывания инфраструктуры как кода Terraform и CI/CD
• опыт создания и развертывания ETL-приложений для обработки данных — конвейеров CI/CD в средах git 
< li> Свободное владение английским языком – мы работаем в международной среде
• Командный подход и желание изучать современные технологии/фреймворки

Приятно- желательно

• Знание облачной архитектуры AWS и платформы Databricks приветствуется
• Опыт работы с AWS Glue и хранилищем Redshift
• Опыт работы с шаблонами CloudFormation
• Опыт работы с потоковой обработкой AWS Kinesis и Spark
• Хорошее знание кодирования Scala, функционального программирования и разработки приложений
• Опыт работы со средами MLOps (например, MLFlow) < /li>

Преимущества:

• Доступ к частному медицинскому обслуживанию, обеспечивающий благополучие вам и вашим близким.
• Языковые курсы на английском и немецком языках, адаптированные к вашему уровню навыков.
• Возможности удаленной работы и гибкий график работы в соответствии с вашим графиком.
• Софинансирование карты Multi-sport
• Офис расположен в оживленном центре Вроцлава, рядом с инфраструктурой, включая кинотеатры, фитнес-клубы и разнообразные рестораны.
• В нерабочее время мы часто организуем интересные прогулки или встречи в нашем офисе или рядом J