Старший инженер по данным (ИТ-решения) в Sigma Software Group

Описание компанииИщем старшего инженера по обработке данных, который возглавит небольшую команду и модернизирует простую платформу данных в облачный аналитический проект самообслуживания. КЛИЕНТЫIGG Software предоставляет высококачественные услуги по разработке программного обеспечения, графическому дизайну, тестированию и поддержке. Системы, разработанные для предоставления преимуществ клиентам в автомобильной, телекоммуникационной, авиационной, рекламной, игровой, банковской сферах, сфере недвижимости и здравоохранения. ПРОЕКТВ рамках внутреннего проекта Sigma Software мы преследуем две основные цели: автоматизировать отчетность и создать систему самообслуживания. система анализа данных для нашей компании. Вы будете отвечать за проектирование и моделирование данных в DWH и витринах данных с использованием Spark и MS SQL, предоставление этих данных и сотрудничество с инженерами BI, составляющими отчеты в Apache Superset, а также другими ролями, использующими такие данные. . Кроме того, вы будете работать с другими членами команды, которые полагаются на эти данные. Часть вашей задачи будет включать в себя переход нашего локального решения в облачную среду.Описание работыНаша цель — создать эффективную систему для сбора, обработки, анализа и визуализации больших объемов данных из различных источников. Заложить основу и модель. данныеРазработать платформу для построения и обслуживания конвейеров данных, которые собирают данные из разных источниковСоздать хранилище данныхАнализировать и подготовить описания предметной области в сотрудничестве с бизнес-аналитикой Создать витрины данныхРазработать модель разрешений с гибким контролем над вертикальным и горизонтальным доступом к даннымКвалификацияКонцептуальные знания основ анализа данных, например , многомерное моделирование, ETL/ELT, инструменты отчетности, управление данными, хранилища данных, структурированные и неструктурированные данные. Хорошее знание SQL и опыт работы с РСУБД, уверенное знание основ баз данных. Опыт разработки баз данных и моделирования данных, в идеале с Databricks/Spark. Опыт работы с PythonWorking. знание форматов сериализации и их компромиссов (столбчатый или основанный на строках) Опыт отладки и оптимизации заданий Spark Сильные письменные и устные коммуникативные навыки Как минимум уровень выше среднего английского бакалавра наук в области компьютерных наук или смежной области Опыт работы в бизнесе Интеллектуальный инструмент - это полезно. Показать больше Показать меньше Посадовый рівень Старший средний рівень Тип занятости Повний рабочий день Посадові обов'язки Информационные технологии Галузи Розработка программного обеспечения