Inżynier danych (rozwiązania IT) w Sigma Software

25 lipca 2024 r

Inżynier danych (rozwiązania IT)

Kijów, Charków, Lwów, Dniepr, Odessa, Winnica, Iwano-Frankiwsk, Łuck, Morszyn, Połtawa, Sumy, Tarnopol, Czerkasy, Czerniowce, Budapeszt (Węgry), Burgas (Bułgaria), Warszawa (Polska), Kraków (Polska), zdalnie

Poszukuję inżyniera danych do kierowania małym zespołem, modernizacji prostej platformy danych do wersji opartej na chmurze projekt analizy samoobsługowej.

KLIENT

Sigma Software zapewnia najwyższej jakości usługi w zakresie tworzenia oprogramowania, projektowania graficznego, testowania i wsparcia. Systemy opracowane w celu zapewnienia korzyści klientom z branży motoryzacyjnej, telekomunikacyjnej, lotniczej, reklamowej, gier, bankowości, nieruchomości i opieki zdrowotnej.

PROJEKT

W ramach wewnętrznego projektu w Sigma Software mamy dwa główne cele: automatyzację raportowania i stworzenie samoobsługowego systemu analizy danych dla nasza firma.

Będziesz odpowiedzialny za projektowanie i modelowanie danych w DWH i Data Marts przy użyciu Spark i MS SQL, udostępnianie tych danych i współpracę z inżynierami BI tworzącymi raporty w Apache Superset oraz innymi rolami zużywającymi takie dane . Ponadto będziesz współpracować z różnymi innymi członkami zespołu, którzy korzystają z tych danych. Częścią Twojego zadania będzie przeniesienie naszego rozwiązania lokalnego do środowiska opartego na chmurze.

OBOWIĄZKI

• Naszym celem jest stworzenie wydajnego systemu gromadzenia, przetwarzania, analizowania i wizualizacji dużych ilości danych z różnych źródeł

• Stwórz podstawy i zamodeluj dane

• Opracuj platformę do budowania i utrzymywania potoków danych, które gromadzą dane z różnych źródeł

• Utwórz hurtownię danych

• Analizuj i przygotowuj opisy domen we współpracy z analityką biznesową

• Twórz Data Marty

• Zaprojektuj model uprawnień z elastyczną kontrolą pionowego i poziomego dostępu do danych

WYMAGANIA

• Wiedza koncepcyjna z zakresu podstaw analityki danych, np. modelowania wymiarowego, ETL/ELT, narzędzi raportowania, zarządzania danymi, hurtowni danych, danych ustrukturyzowanych i nieustrukturyzowanych

• Dobra znajomość SQL i doświadczenie z RDBMS, pewna znajomość podstaw baz danych

• Doświadczenie w tworzeniu baz danych i modelowaniu danych, najlepiej z Databricks/Spark

• Doświadczenie z językiem Python

• Doświadczenie z platformą Azure

• Praktyczna wiedza na temat formatów serializacji i ich kompromisów (kolumnowe vs. wierszowo)

• Doświadczenie w debugowaniu i optymalizacji zadań Spark

• Silne umiejętności komunikacji pisemnej i werbalnej

• Co najmniej wyższy średniozaawansowany poziom języka angielskiego < /p>

• Licencjat z informatyki lub pokrewnej dziedziny

• Doświadczenie z narzędziem Business Intelligence będzie mile widziane