Старший инженер по данным (ИТ-решения) в Sigma Software

Ищем старшего инженера по обработке данных, который возглавит небольшую команду и модернизирует простую платформу данных в облачный аналитический проект самообслуживания.

КЛИЕНТ
Sigma Программное обеспечение обеспечивает высококачественную разработку программного обеспечения, графический дизайн, тестирование и поддержку. Системы, разработанные для предоставления преимуществ клиентам в автомобилестроении, телекоммуникациях, авиации, рекламе, играх, банковском деле, недвижимости и здравоохранении.

ПРОЕКТ
В рамках внутреннего проекта В Sigma Software у нас две основные цели: автоматизировать отчетность и создать систему самообслуживания для анализа данных для нашей компании.
Вы будете отвечать за проектирование и моделирование данных в СХД и витринах данных с использованием Spark и MS SQL. , предоставляя эти данные и сотрудничая с ними инженерам по бизнес-аналитике, создающим отчеты в Apache Superset, и другим ролям, использующим такие данные. Кроме того, вы будете работать с другими членами команды, которые полагаются на эти данные. Часть вашей задачи будет включать в себя переход нашего локального решения в облачную среду.

ОБЯЗАННОСТИ
• Наша цель — создать эффективную систему сбора данных. , обработка, анализ и визуализация больших объемов данных из различных источников
• Заложить основу и смоделировать данные
• Разработать платформу для создания и обслуживания конвейеров данных, которые собирают данные из разных источников
• Создать хранилище данных
• Проанализировать и подготовить описания домена в сотрудничестве с бизнес-аналитикой
• Создать витрины данных
• Разработать модель разрешений с гибким контролем над вертикальным и горизонтальным доступом к данным

ТРЕБОВАНИЯ
• Концептуальные знания основ аналитики данных, например, многомерного моделирования, ETL/ELT, инструментов отчетности, управления данными, хранилищ данных, структурированных и неструктурированных данных
• Хорошие знания SQL и опыт работы с РСУБД, уверенное знание основ баз данных
• Опыт разработки баз данных и моделирования данных, в идеале с Databricks/Spark
• Опыт работы с Python
• Опыт работы с Azure< br/>• Практическое знание форматов сериализации и их компромиссов (столбчатый или строковый)
• Опыт отладки и оптимизации заданий Spark
• Сильные письменные и устные коммуникативные навыки
• На уровень английского языка как минимум выше среднего
• Бакалавр наук в области компьютерных наук или смежной области
• Опыт работы с инструментами бизнес-аналитики приветствуется

Ми шукаємо старшого Разработчик с обработкой данных, который выделяет небольшую команду, которая перетворит простую платформу данных на современный аналитический проект из самообслуживания на основных современных технологиях.

ЗАМОВНИК
Sigma Software на сегодняшний день является высокоэффективной. услуги по разработке программного обеспечения, графического дизайна, тестирования и подготовки. Системы, разработанные для безпечения потребностей клиентов в автомобильной, телекоммуникационной, авиационной, рекламной, игровой, банковской деятельности, неухомостии и охоронении здоровья.

ПРОЕКТ
У рамки Внутренний проект в Sigma Software я могу использовать две основные цели: автоматизировать прозрачность и управление системой самообслуживания.для анализа данных для нашей компании.

Ты будете отвечать за разработку и моделирование данных в DWH и Data Marts с помощью Spark и MS SQL, предоставление этих данных BI-инженерам и сотрудничество с ними, создание отчетов в Apache Super и другие задачи, касающиеся использования этих данных. Кроме того, ты будешь работать с другими членами команды, которые используют эти данные. Также частью твоей работы будет перенос нашего локального решения в облачную среду. объемов данных из различных источников

• Создать основу и моделировать данные
• Разрабатывать платформу для построения и поддержки конвейеров данных, собирающих данные из разных источников
• Создать хранилище данных
• Анализировать и готовить описания доменов в сотрудничестве с бизнес-аналитиками
• Создавать витрины данных
• Разработать модель разрешений с гибким управлением вертикальным и горизонтальным доступом к данным

ТРЕБОВАНИЯ
• Концептуальное знание основ аналитики данных, например, размерного моделирования, ETL/ELT, инструментов отчетности, управления данными, хранилищ данных, структурированных и неструктурированных данных
• Глубокие знания SQL и опыт работы с RDBMS , уверенное знание основ баз данных
• Опыт разработки баз данных и моделирования данных, в идеале с Databricks/Spark
• Опыт работы с Python
• Практические знания о форматах сериализации и их компромиссы (столбиковые vs . строковые)
• Опыт налаживания и оптимизации задач Spark
• Сильные навыки письменной и устной коммуникации
• Уровень владения английским языком не ниже Upper-Intermediate
• Степень бакалавра в области компьютерных наук или смежных отраслях
Опыт работы с инструментом бизнес-аналитики— будет плюсом