Старший инженер по данным (ИТ-решения) в Sigma Software

Ищем старшего инженера по обработке данных, который возглавит небольшую команду и модернизирует простую платформу данных в облачный аналитический проект с самообслуживанием.

КЛИЕНТ
Sigma Программное обеспечение обеспечивает высококачественную разработку программного обеспечения, графический дизайн, тестирование и поддержку. Системы, разработанные для предоставления преимуществ клиентам в автомобилестроении, телекоммуникациях, авиации, рекламе, играх, банковском деле, недвижимости и здравоохранении.
< br style="font-style: нормальный; шрифт-вес: 400"/>ПРОЕКТ
В рамках внутреннего проекта в Sigma Software мы преследуем две основные цели: автоматизировать отчетность и создать собственную личность. -сервисная система анализа данных для нашей компании.
Вы будете отвечать за проектирование и моделирование данных в хранилищах данных и витринах данных с использованием Spark и MS SQL, предоставление этих данных и сотрудничество с инженерами по бизнес-аналитике, составляющими отчеты в Apache Superset, а также другими должностями, использующими такие данные. Кроме того, вы будете работать с другими членами команды, которые полагаются на эти данные. Часть вашей задачи будет включать в себя перевод нашего локального решения в облачную среду.

ОБЯЗАННОСТИ
• Наша цель — создать эффективную систему для сбора, обработки, анализа и визуализации больших объемов данных из различных источников
• Заложите основу и смоделируйте данные
• Разработать платформу для создания и обслуживания конвейеров данных, которые собирают данные. из разных источников
• Создать хранилище данных
• Анализируйте и подготавливайте описания доменов в сотрудничестве с бизнес-аналитикой
• Создание витрин данных
• Разработайте модель разрешений с гибким контролем над вертикальным и горизонтальным доступом к данным

ТРЕБОВАНИЯ
• Концептуальные знания основ аналитики данных, например, многомерного моделирования, ETL/ELT, инструментов отчетности, управления данными, хранилищ данных, структурированных и неструктурированных данных
• Хорошие знания SQL и опыт работы с СУБД, уверенное знание основ баз данных
• Опыт разработки баз данных и моделирования данных, в идеале с помощью Databricks/Spark
• Опыт работы с Python
• Опыт работы с Azure
• Практическое знание форматов сериализации и их компромиссов (столбчатый или строковый)
• Опыт отладки и оптимизации заданий Spark
• Сильные письменные и устные коммуникативные навыки
• Уровень английского как минимум выше среднего
• Бакалавр наук в области компьютерных наук или смежной области
• Опыт работы с инструментом бизнес-аналитики приветствуется.

Мой шукаємо старый инженер по обработке данных, который выделяет небольшую команду, которая перетворит простую платформу данных на сучасний аналитический проект из самообслуговуванням на основных современных технологиях.

ЗАМОВНИК
Sigma Software предлагает качественные услуги по разработке программного обеспечения, графического дизайна, тестирования и подтримки. Системы, разработанные для обеспечения безопасности клиентов в автомобильной, телекоммуникационной, авиационной, рекламной, игровых, банковских явлений, нерухомості та охороні здоровы' я.

ПРОЄКТ
У рамках внутреннего проекта в Sigma Software мы имеем две основные цели: автоматизировать отчетность и создать систему самообслуживания для анализа данных для нашей компании.

Ты отвечаешь за разработку и моделирование данных в DWH и Data Marts с помощью Spark. и MS SQL, предоставление этих данных BI-инженерам и сотрудничество с ними, создание отчетов в Apache Superset и другие задачи, касающиеся использования этих данных. Кроме того, ты будешь работать с другими членами команды, которые используют эти данные. Также частью твоей работы будет перенос нашего локального решения в облачную среду.
ОБЯЗАННОСТИ


• Разрабатывать платформу для построения и поддержки конвейеров данных, собирающих данные из разных источников
• Создать хранилище данных
• Анализировать и готовить описания доменов в сотрудничестве с бизнес-аналитиками
• Создавать витрины данных
• Разработать модель разрешений с гибким управлением вертикальным и горизонтальным доступом к данным

ТРЕБОВАНИЯ
• Концептуальное знание основ аналитики данных, например размерного моделирования, ETL/ELT, инструментов отчетности, управления данными, хранилищ данных, структурированных и неструктурированных данных
• Глубокие знания SQL и опыт работы с RDBMS, уверенное знание основ баз данных
• Опыт разработки баз данных и моделирования данных, в идеале с Databricks/Spark
• Опыт работы с Python
• Практические знания о форматах сериализации и их компромиссах (столбичные vs. строковые)
• Опыт отладки и оптимизации задач Spark
• Сильные навыки письменной и устной коммуникации
• Уровень владения английским языком не ниже Upper-Intermediate
• Степень бакалавра в области компьютерных наук или смежных областях
Опыт работы с инструментом бизнес-аналитики — будет плюсом