Starszy inżynier danych (rozwiązania IT) w Sigma Software

Poszukuję starszego inżyniera danych, który poprowadzi mały zespół i zmodernizuje prostą platformę danych w samoobsługowy projekt analityczny oparty na chmurze.

KLIENT
Sigma Software zapewnia najwyższej jakości usługi tworzenia oprogramowania, projektowania graficznego, testowania i wsparcia. Systemy opracowane w celu zapewnienia korzyści klientom z branży motoryzacyjnej, telekomunikacyjnej, lotniczej, reklamowej, gier, bankowości, nieruchomości i opieki zdrowotnej.
< br style="font-style: normal; Font-weight: 400"/>PROJEKT
W ramach wewnętrznego projektu w Sigma Software mamy dwa główne cele: automatyzowanie raportowania i tworzenie własnych -serwisowy system analizy danych dla naszej firmy.
Będziesz odpowiedzialny za projektowanie i modelowanie danych w DWH i Data Marts przy użyciu Spark i MS SQL, udostępnianie tych danych i współpracę z inżynierami BI tworzącymi raporty w Apache Superset oraz innymi rolami korzystającymi z takich danych. Ponadto będziesz współpracować z różnymi innymi członkami zespołu, którzy korzystają z tych danych. Częścią Twojego zadania będzie przeniesienie naszego rozwiązania lokalnego do środowiska opartego na chmurze.

OBOWIĄZKI
• Naszym celem jest stworzenie wydajnego systemu do gromadzenia, przetwarzania, analizowania i wizualizacji dużych ilości danych z różnych źródeł
• Połóż fundament i modeluj dane
• Opracuj platformę do tworzenia i utrzymywania potoków danych gromadzących dane z różnych źródeł
• Utwórz hurtownię danych
• Analizuj i przygotowuj opisy domen we współpracy z analityką biznesową
• Utwórz zbiory danych
• Zaprojektuj model uprawnień z elastyczną kontrolą pionowego i poziomego dostępu do danych

WYMAGANIA
• Koncepcyjna wiedza z zakresu podstaw analityki danych, np. modelowania wymiarowego, ETL/ELT, narzędzi raportowania, zarządzania danymi, hurtowni danych, danych ustrukturyzowanych i nieustrukturyzowanych
• Dobra znajomość SQL i doświadczenie z RDBMS, pewna znajomość podstaw baz danych
• Doświadczenie w tworzeniu baz danych i modelowaniu danych, najlepiej z Databricks/Spark
• Doświadczenie z Pythonem
• Doświadczenie z platformą Azure
• Praktyczna wiedza na temat formatów serializacji i ich kompromisów (kolumnowa lub wierszowa)
• Doświadcz debugowania i optymalizacji zadań Spark
• Dobre umiejętności komunikacji pisemnej i werbalnej
• Co najmniej wyższy średniozaawansowany poziom języka angielskiego
• BS w informatyki lub pokrewnej dziedzinie
• Doświadczenie z narzędziem Business Intelligence jest przyjemne

ми шкаєо саршо інженера з о zajmują się даних на счасний аналіичний проєкт зз самобслуо

ЗАМОВНИК
Sigma Software udostępnia nowe rozwiązania dla użytkowników, графічного дизайну, вання та підтримки. ній, авіаційній, рекламній, ігровій, банківській сферах, нерухомості та охороні здоров' я.

ПРОЄКТ
У рамкJako wewnętrzny projekt w Sigma Software mamy dwa główne cele: zautomatyzować raportowanie i stworzyć samoobsługowy system analizy danych dla naszej firmy.

Będziesz odpowiedzialny za rozwój i modelowanie danych w DWH i Data Marts z wykorzystaniem Sparka i MS SQL, udostępnianie tych danych inżynierom BI i współpraca z nimi, tworzenie raportów w Apache Superset oraz inne zadania związane z wykorzystaniem tych danych. Ponadto będziesz współpracować z innymi członkami zespołu, którzy korzystają z tych danych. Częścią Twojej pracy będzie także przeniesienie naszego lokalnego rozwiązania do środowiska chmurowego.

OBOWIĄZKI
< span style="font-style: normal; Font-weight: 400">Naszym celem jest stworzenie wydajnego systemu gromadzenia, przetwarzania, analizowania i wizualizacji dużych ilości danych z różnych źródeł

• Utwórz dane podstawowe i modelowe
• Opracuj platformę do tworzenia i obsługi potoków danych gromadzących dane z różnych źródeł
• Utwórz magazyn danych
• Analizowanie i przygotowywanie opisów domen we współpracy z analitykami biznesowymi
• Twórz prezentacje danych
• Opracuj model uprawnień z elastycznym zarządzaniem pionowym i poziomym dostępem do danych

WYMAGANIA
• Koncepcyjna wiedza z zakresu podstaw analityki danych, takich jak modelowanie wymiarowe, ETL/ELT, narzędzia raportowania, zarządzanie danymi, hurtownie danych, dane strukturalne i nieustrukturyzowane
• Głęboka znajomość SQL i doświadczenie z RDBMS, solidna znajomość podstaw baz danych
• Doświadczenie w tworzeniu baz danych i modelowaniu danych, najlepiej z Databricks/Spark
• Doświadczenie z Pythonem
• Praktyczna wiedza na temat formatów serializacji i ich kompromisów (kolumna vs. wiersz)
• Doświadcz debugowania i optymalizacji zadań Spark
• Dobre umiejętności komunikacji pisemnej i werbalnej
• Poziom znajomości języka angielskiego nie jest niższy niż Upper-Intermediate
• Licencjat z informatyki lub dziedzin pokrewnych
Doświadczenie z narzędziem do analityki biznesowej będzie dodatkowym atutem