Инженер по данным (Центр компетенции по данным) в Sigma Software

Присоединяйтесь к нам в Sigma Software, чтобы быть в авангарде самых интересных проектов и играть ключевую роль в развитии и успехе наших инициатив и Центра компетенции.

КЛИЕНТ
Мы ищем инженера по обработке данных, который не только имеет большой опыт в области разработки данных, но и готов взять на себя роль водителя, способствуя нашему развитию. Центр компетенции по данным в рамках Sigma Software. Мы ищем человека, увлеченного обработкой данных и желающего развивать свои навыки и опыт в этой области.

ОБЯЗАННОСТИ
Создание конвейеров ETL, конфигураций оркестрации, автоматизации CI/CD, сценариев и т. д.
Анализ, систематизация и интерпретировать необработанные данные с помощью современного стека данных.
Создавать SQL-запросы для эффективного манипулирования данными.
Вносить вклад и стимулировать совершенствование технологии обработки данных: исследовать технологические тенденции и проводить анализ лучших практик, чтобы обеспечить актуальность наших решений. the-art
 
ТРЕБОВАНИЯ
Навыки создания, поддержки, тестирования и доставки крупных масштабировать конвейеры данных
Знание ETL/ELT: практический опыт работы хотя бы с одним комплексным решением, его запуском, разработкой и обслуживанием
Хорошее знание SQL 
Опыт и теоретическое понимание данных моделирование и оптимизация баз данных
Не менее 3 лет опыта работы с Python/Scala для обработки и преобразования данных
Опыт работы со Spark с акцентом на PySpark
Практический опыт работы с основными фреймворками и библиотеками в Области инженерии данных: Spark, Kafka, Airflow и т. д., с подтвержденным опытом отладки и оптимизации.
Опыт работы с облачными решениями для обработки данных на AWS/Azure

БУДЕТ ПЛЮС.
Опыт/сертификация Databricks
Опыт работы с CI/CD в инженерии данных
Опыт работы с инструментами BI, такими как Tableau, Qlik, Grafana или аналогичные