Старший инженер по данным (ИТ-решения) в Sigma Software

Ищем старшего инженера по обработке данных, который возглавит небольшую команду по модернизации простой платформы данных в облачный проект аналитики самообслуживания.

КЛИЕНТ

Sigma Software предоставляет высококачественные услуги по разработке программного обеспечения, графическому дизайну, тестированию и поддержке. Системы, разработанные для предоставления преимуществ клиентам в автомобильной, телекоммуникационной, авиационной, рекламной, игровой, банковской отраслях, сфере недвижимости и здравоохранения.

ПРОЕКТ

В рамках внутреннего проекта Sigma Software у нас есть две основные цели: автоматизировать отчетность и создать систему самообслуживания для анализа данных для нашей компании.

Вы будете отвечать за проектирование и моделирование данных в DWH и витрины данных с использованием Spark и MS SQL, предоставление этих данных и сотрудничество с инженерами по бизнес-аналитике, создающими отчеты в Apache Superset, а также другими ролями, использующими такие данные. Кроме того, вы будете работать с другими членами команды, которые полагаются на эти данные. Часть вашей задачи будет включать в себя перевод нашего локального решения в облачную среду.

ОБЯЗАННОСТИ

• Наши цель — создать эффективную систему для сбора, обработки, анализа и визуализации больших объемов данных из различных источников

• Заложить основу и смоделировать данные

• Разработать платформу для создания и обслуживания конвейеров данных, которые собирают данные из разных источников.

• Создание хранилища данных.

• Анализ и подготовка описаний доменов в сотрудничестве с бизнес-аналитикой.

• Создание. Витрины данных

• Разработайте модель разрешений с гибким контролем над вертикальным и горизонтальным доступом к данным.

ТРЕБОВАНИЯ

• Концептуальные знания основ анализа данных, например многомерного моделирования, ETL/ELT, инструментов отчетности, управления данными, хранилищ данных, структурированных и неструктурированных данных.

• Уверенное знание SQL и опыт работы с СУБД. знание основ баз данных

• Опыт разработки баз данных и моделирования данных, в идеале с помощью Databricks/Spark

• Опыт работы с Python

• Опыт работы с Azure

• Практическое знание форматов сериализации и их компромиссов (столбчатый или строковый).

• Опыт отладки и оптимизации заданий Spark.

• Грамотное письменное и устное общение. навыки

• Знание английского языка как минимум на уровне выше среднего

• Бакалавр компьютерных наук или смежной области

• Опыт работы с инструментом бизнес-аналитики является обязательным. приятно иметь

Мне нравится старший инженер по разработке данных, который особенно важен для команды, которая перетворит простую платформу для современных аналитических проектов и самообслуживания на основных современных технологиях.

p>

ЗАМОВНИК

Sigma Software предлагает хорошие услуги по разработке программного обеспечения, графического дизайна, тестирования и подтримки. Системы, разработанные для безпечения потребления клиентов в автомобильной, телекоммуникационной, авиационной, рекламной, игровой, банковской сфере, неухомостости и охорони здоровья.

ПРОЄКТ

У рамках внутреннего проекта в Sigma Software мы имеем две основные цели: автоматизировать отчетность и создать систему самообслуживания для анализа данных для нашей компании. Marts с помощью Spark и MS SQL, предоставление данных BI-инженерам и сотрудничество с ними, создание отчетов в Apache Superset и другие задачи, касающиеся использования этих данных. Кроме того, ты будешь работать с другими членами команды, использующими эти данные. Также частью твоей работы будет перенос нашего локального решения в облачную среду. для сбора, обработки, анализа и визуализации больших объемов данных из разных источников

• Создать основу и моделировать данные

• Разрабатывать платформу для построения и поддержки конвейеров данных , собирающие данные из разных источников

• Создать хранилище данных

• Анализировать и готовить описания доменов в сотрудничестве с бизнес-аналитиками

• Создавать витрины данных

p>

• Разработать модель разрешений с гибким управлением вертикальным и горизонтальным доступом к данным

ТРЕБОВАНИЯ

• Концептуальное знание основ аналитики данных, например размерного моделирования, ETL/ELT, инструментов отчетности, управления данными, хранилищ данных, структурированных и неструктурированных данных

• Глубокие знания SQL и опыт работы с RDBMS, уверенное знание основ баз данных

• Опыт разработки баз данных и моделирования данных, в идеале с Databricks/Spark

• Опыт работы с Python

• Практические знания о форматах сериализации и их компромиссах (столбиковые) vs. строковые)

• Опыт налаживания и оптимизации задач Spark

• Сильные навыки письменной и устной коммуникации

• Уровень владения английским языком не ниже Upper-Intermediate

• Степень бакалавра в области компьютерных наук или смежных отраслях

Опыт работы с инструментом бизнес-аналитики – будет плюсом