Starszy inżynier danych (rozwiązania IT) w Sigma Software

Poszukuję starszego inżyniera danych, który poprowadzi mały zespół, zmodernizuje prostą platformę danych w oparty na chmurze projekt samoobsługowej analizy.

KLIENT

Sigma Software zapewnia najwyższej jakości usługi w zakresie tworzenia oprogramowania, projektowania graficznego, testowania i wsparcia. Systemy opracowane w celu zapewnienia korzyści klientom z branży motoryzacyjnej, telekomunikacyjnej, lotniczej, reklamowej, gier, bankowej, nieruchomości i opieki zdrowotnej.

PROJEKT

W ramach wewnętrznego projektu w Sigma Software mamy dwa główne cele: zautomatyzować raportowanie i stworzyć samoobsługowy system analizy danych dla naszej firmy.

Będziesz odpowiedzialny za projektowanie i modelowanie danych w DWH i Data Marts przy użyciu Spark i MS SQL, udostępnianie tych danych i współpraca z inżynierami BI tworzącymi raporty w Apache Superset i innymi rolami zużywającymi takie dane. Ponadto będziesz współpracować z różnymi innymi członkami zespołu, którzy korzystają z tych danych. Częścią Twojego zadania będzie przeniesienie naszego rozwiązania lokalnego do środowiska opartego na chmurze.

OBOWIĄZKI

• Nasz celem jest stworzenie wydajnego systemu gromadzenia, przetwarzania, analizowania i wizualizacji dużych ilości danych z różnych źródeł

• Stworzenie podstaw i modelowanie danych

• Opracowanie platformy do budowania i utrzymywania potoków danych, które zbierają dane z różnych źródeł

• Tworzenie hurtowni danych

• Analizowanie i przygotowywanie opisów domen we współpracy z analityką biznesową

• Tworzenie Data Marts

• Zaprojektuj model uprawnień z elastyczną kontrolą pionowego i poziomego dostępu do danych

WYMAGANIA

• Wiedza koncepcyjna z zakresu podstaw analityki danych, np. modelowania wymiarowego, ETL/ELT, narzędzi raportowania, zarządzania danymi, hurtowni danych, danych ustrukturyzowanych i nieustrukturyzowanych

• Dobra wiedza SQL i doświadczenie z RDBMS, pewność siebie znajomość podstaw baz danych

• Doświadczenie w tworzeniu baz danych i modelowaniu danych, najlepiej z Databricks/Spark

• Doświadczenie z Pythonem

• Doświadczenie z Azure

• Praktyczna wiedza na temat formatów serializacji i ich kompromisów (kolumnowych lub wierszowych)

• Doświadczenie w debugowaniu i optymalizacji zadań Spark

• Dobra komunikacja pisemna i werbalna umiejętności

• Znajomość języka angielskiego na poziomie co najmniej wyższym średniozaawansowanym

• Licencjat z informatyki lub pokrewnej dziedziny

• Doświadczenie w pracy z narzędziem Business Intelligence jest nice-to-have

Ми шукаємо старшого інженера з обробки даних, який очолюватиме невелику команду, що перетвор ить просту платформу даних на сучасний аналітичний проєкт із самообслуговуванням на основі хмарних техноло гій.

ЗАМОВНИК

Sigma Software oferuje oprogramowanie do gier, gry фічного дизайну, тестування та підтримки. Системи, розроблені для забезпечення потреб клієнтів в автомобільній, telекомунікаційній, авіаційній, рекламній, ігровій, банківській сферах, нерухомості та охороні здоров'я.

ПРОЄКТ

У рамкJako wewnętrzny projekt w Sigma Software mamy dwa główne cele: automatyzację raportowania oraz stworzenie samoobsługowego systemu analizy danych dla naszej firmy.

Będziesz odpowiedzialny za rozwijanie i modelowanie danych w DWH i Data Marts z wykorzystaniem Spark i MS SQL, udostępnianie tych danych inżynierom BI i współpraca z nimi, tworzenie raportów w Apache Superset i inne zadania związane z wykorzystaniem tych danych. Ponadto będziesz współpracować z innymi członkami zespołu, którzy korzystają z tych danych. Częścią Twojej pracy będzie także przeniesienie naszego lokalnego rozwiązania do środowiska chmurowego.

OBOWIĄZKI

Naszym celem jest tworzenie skuteczny system do gromadzenia, przetwarzania, analizowania i wizualizacji dużych ilości danych z różnych źródeł

• Stwórz ramy i modeluj dane

• Opracuj platforma do budowy i utrzymania potoków danych, które zbierają dane z różnych źródeł

• Stwórz hurtownię danych

• Analizuj i przygotowuj opisy domen we współpracy z analitykami biznesowymi

• Twórz prezentacje danych

p>

• Opracuj model uprawnień z elastycznym zarządzaniem pionowym i poziomym dostępem do danych

WYMAGANIA< /strong>

• Podstawy wiedzy koncepcyjnej z zakresu analityki danych, takie jak modelowanie wymiarowe, ETL/ELT, narzędzia raportowania, zarządzanie danymi, hurtownia danych, dane ustrukturyzowane i nieustrukturyzowane

• Głęboka wiedza na temat Doświadczenie w SQL i RDBMS, solidna znajomość podstaw baz danych

p>

• Doświadczenie w tworzeniu baz danych i modelowaniu danych, najlepiej z Databricks/Spark

• Doświadczenie w Pythonie