Старший інженер з даних (ІТ-рішення) в Sigma Software

Шукаю старшого інженера з обробки даних для керування невеликою командою, модернізації простої платформи даних у хмарний аналітичний проект із самообслуговуванням.

ЗАМОВНИК
Sigma Software надає послуги з розробки програмного забезпечення, графічного дизайну, тестування та підтримки найвищої якості. Системи, розроблені для надання переваг клієнтам у галузях автомобілебудування, телекомунікацій, авіації, реклами, ігор, банківської справи, нерухомості та охорони здоров’я.

ПРОЕКТ
У рамках внутрішнього проекту У Sigma Software ми маємо дві головні цілі: автоматизувати звітність і створити систему аналізу даних із самообслуговуванням для нашої компанії.
Ви відповідатимете за проектування та моделювання даних у DWH і Data Marts за допомогою Spark і MS SQL , надання цих даних інженерам BI, які створюють звіти в Apache Superset, і співпрацю з ними, а також інші ролі, які використовують такі дані. Крім того, ви працюватимете з іншими членами команди, які покладаються на ці дані. Частина вашого завдання включатиме перехід нашого локального рішення в хмарне середовище.

ОБОВ’ЯЗКИ
• Наша мета – створити ефективну систему збору , обробка, аналіз і візуалізація великих обсягів даних із різних джерел
• Закладіть основу та змоделюйте дані
• Розробіть платформу для створення та підтримки каналів даних, які збирають дані з різних джерел
• Створення сховища даних
• Аналіз і підготовка описів доменів у співпраці з Business analytics
• Створення вітрин даних
• Розробка моделі дозволів із гнучким керуванням вертикальним і горизонтальним доступом до даних

ВИМОГИ
• Концептуальне знання основ аналітики даних, наприклад, розмірного моделювання, ETL/ELT, інструментів звітності, керування даними, сховищ даних, структурованих і неструктурованих даних
• Глибокі знання SQL і досвід роботи з RDBMS, впевнене знання основ баз даних
• Досвід розробки баз даних і моделювання даних, в ідеалі з Databricks/Spark
• Досвід роботи з Python
• Досвід роботи з Azure< br/>• Практичні знання форматів серіалізації та їхніх компромісів (стовпчик чи рядок)
• Досвід налагодження та оптимізації завдань Spark
• Сильні навички письмового та усного спілкування
• У принаймні рівень вищий-середній англійської мови
• Бакалавр у інформатики або спорідненої галузі
• Досвід роботи з інструментом бізнес-аналітики — це приємно мати

Ми шукаємо старшого інженер з обробки даних, який очолюватиме невелику команду, що перетворить просту платформу даних на сучасний аналітичний проект із самообслуговуванням на основних хмарних технологіях.

ЗАМОВНИК
Sigma Software надає високоякісні послуги з розробки програмного забезпечення, графічного дизайну, тестування та підтримки. Системи, розроблені для забезпечення потреб клієнтів в автомобільній, телекомунікаційній, авіаційній, рекламній, ігровій, банківській сферах, нерухомості та охороні здоров’я.

ПРОЄКТ
У рамках внутрішнього проекту в Sigma Software ми маємо дві основні цілі: автоматизувати звітність і створити систему самообслуговуваннядля аналізу даних для нашої компанії.

Ти відповідатимеш за розробку та моделювання даних у DWH і Data Marts за допомогою Spark і MS SQL, надання цих даних BI-інженерам та співпрацю з ними, створення звітів у Apache Superset та інші задачі, що стосуються використання цих даних. Крім того, ти працюватимеш з іншими членами команди, які використовують ці дані. Також частиною твоєї роботи буде перенесення нашого локального рішення в хмарне середовище.

ОБОВ’ЯЗКИ
Наша мета — створити ефективну систему для збору, обробки, аналізу та візуалізації великих обсягів даних із різних джерел

• Створити основу та моделювати дані
• Розробляти платформу для побудови та підтримки конвеєрів даних, які збирають дані з різних джерел
• Створити сховище даних
• Аналізувати та готувати описи доменів у співпраці з бізнес-аналітиками
• Створювати вітрини даних
• Розробити модель дозволів із гнучким керуванням вертикальним і горизонтальним доступом до даних

ВИМОГИ
• Концептуальне знання основ аналітики даних, наприклад, розмірного моделювання, ETL/ELT, інструментів звітності, управління даними, сховищ даних, структурованих і неструктурованих даних
• Глибокі знання SQL і досвід роботи з RDBMS, впевнене знання основ баз даних
• Досвід розробки баз даних і моделювання даних, в ідеалі з Databricks/Spark
• Досвід роботи з Python
• Практичні знання про формати серіалізації та їхні компроміси (стовпчикові vs. рядкові)
• Досвід налагодження та оптимізації завдань Spark
• Сильні навички письмової та усної комунікації
• Рівень володіння англійською мовою не нижче Upper-Intermediate
• Ступінь бакалавра в галузі комп’ютерних наук або суміжних галузях
Досвід роботи з інструментом бізнес-аналітики — буде плюсом