Inżynier danych (Azure Databricks) w LimestoneDigital

Limestone Digital poszukuje inżyniera danych, który powiększy nasz zespół.

Wymagania:

– Wysoka biegłość w zakresie Azure Data Factory (ADF) i Azure Synapse w celu projektowania i wdrażania potoków danych i przepływów pracy;

– Znajomość języka SQL do wykonywania zapytań i manipulowania danymi w ramach relacyjne bazy danych i hurtownie danych;

- Doświadczenie z Databricks do przetwarzania dużych zbiorów danych, eksploracji danych i zaawansowanej analityki;

- Znajomość Azure Events Hub do pozyskiwania i przetwarzania danych w czasie rzeczywistym strumieni;

- Znajomość Azure Functions do tworzenia rozwiązań obliczeniowych bezserwerowych i architektur sterowanych zdarzeniami;

- Znajomość Azure PureView do zarządzania jakością danych i profilowania danych;

- Umiejętność projektowania i rozwijania skalowalnych, niezawodnych i wydajnych rozwiązań do przetwarzania danych na platformie chmurowej Azure;

- Umiejętność projektowania i rozwijania skalowalnych, niezawodnych i wydajnych rozwiązań do przetwarzania danych na platformie chmurowej Azure;

- Biegłość w modelowaniu danych i zasadach projektowania baz danych w celu zapewnienia integralności danych i optymalizacji wydajności zapytań;

- Znajomość najlepszych praktyk w zakresie zarządzania danymi i bezpieczeństwa danych w celu zapewnienia zgodności i prywatności danych;

- Doświadczenie w zakresie technik integracji i transformacji danych w celu wyodrębniania, przekształcania i ładowania (ETL) danych z różnych źródeł do docelowych repozytoriów danych;

- Znajomość koncepcji i technik uczenia maszynowego wspierających dane naukowcy zajmujący się opracowywaniem i wdrażaniem modeli;

- Zrozumienie platform przetwarzania w chmurze (Azure i/lub AWS) i ich usług w zakresie inżynierii danych i zadań przetwarzania danych.

- Ścisła współpraca z naszymi inżynierami i klientem w celu opracowania wysokiej jakości wyników dla naszych klientów;

- Komunikacja z zewnętrznymi usługami internetowymi i datę zbioru;

- Twórz i pisz wydajny, czytelny kod w (ADF/Synapse, SQL, Databricks, Events Hub, Azure Functions, PureView);

- Pracuj z zewnętrznymi biblioteki partyjne;

- Procesy rozwoju samodoskonalenia.

Miło jest mieć:

- Biegła w programowaniu w języku Python do tworzenia skryptów i automatyzacji w przepływach pracy związanych z inżynierią danych;

- Silne umiejętności komunikacji i współpracy umożliwiające efektywną pracę z zespołami i interesariuszami o różnych funkcjach;

- Umiejętność pozostawania na bieżąco- na bieżąco z najnowszymi trendami i postępami w inżynierii danych i technologiach chmurowych.