Inżynier danych (Azure Databricks) w LimestoneDigital

Wymagania:- Wysoka biegłość w Azure Data Factory (ADF) i Azure Synapse w celu projektowania i wdrażania potoków danych i przepływów pracy;- Znajomość języka SQL do wykonywania zapytań i manipulowania danymi w relacyjnych bazach danych i hurtowniach danych;- Doświadczenie z Databricks do przetwarzania dużych zbiorów danych, danych eksploracja i zaawansowana analityka;- Znajomość Azure Events Hub do pozyskiwania i przetwarzania strumieni danych w czasie rzeczywistym;- Znajomość Azure Functions do tworzenia rozwiązań obliczeniowych bezserwerowych i architektur sterowanych zdarzeniami;- Znajomość Azure PureView do zarządzania jakością danych i profilowania danych ;- Biegłość w Azure Machine Learning w zakresie budowania i wdrażania modeli uczenia maszynowego w środowisku chmurowym;- Umiejętność projektowania i opracowywania skalowalnych, niezawodnych i wydajnych rozwiązań do przetwarzania danych na platformie chmurowej Azure;- Biegłość w modelowaniu danych i zasadach projektowania baz danych w celu zapewniać integralność danych i optymalizować wydajność zapytań;- Znajomość najlepszych praktyk w zakresie zarządzania danymi i bezpieczeństwa danych w celu zapewnienia zgodności i prywatności danych;- Doświadczenie w zakresie technik integracji i transformacji danych w celu wyodrębniania, przekształcania i ładowania (ETL) danych z różnych źródeł do miejsca docelowego repozytoria danych;- Znajomość koncepcji i technik uczenia maszynowego wspierających analityków danych w opracowywaniu i wdrażaniu modeli;- Zrozumienie platform przetwarzania w chmurze (Azure i/lub AWS) i ich usług w zakresie inżynierii danych i zadań przetwarzania danych. Obowiązki: - Ścisła współpraca z naszymi inżynierami i klientem w celu opracowania wysokiej jakości wyników dla naszych klientów; - Komunikacja z zewnętrznymi usługami internetowymi i zbieranie danych; - Twórz i pisz wydajny, czytelny kod w (ADF/Synapse, SQL, Databricks, Events Hub, Azure Functions, PureView); - Pracuj z bibliotekami innych firm; - Procesy rozwoju samodoskonalenia. Mile widziane:- Biegłość w programowaniu w języku Python do tworzenia skryptów i automatyzacji procesów inżynierii danych;- Silne umiejętności komunikacji i współpracy umożliwiające efektywną pracę z zespołami i interesariuszami o różnych funkcjach;- Umiejętność bycia na bieżąco z najnowszymi trendami i postępami w inżynierii danych i technologiach chmurowych;- Silne umiejętności rozwiązywania problemów oraz umiejętność rozwiązywania problemów i debugowania procesów i przepływów pracy związanych z inżynierią danych.