Інженер даних (Azure Databricks) в LimestoneDigital

Вимоги: - Знання фабрики даних Azure (ADF) і Azure Synapse для проектування та впровадження конвеєрів даних і робочих процесів; - Знання SQL для запитів і обробки даних у реляційних базах даних і сховищ даних; - Досвід роботи з Databricks для обробки великих даних, даних дослідження та розширена аналітика;- Знання Azure Events Hub для прийому та обробки потоків даних у реальному часі;- Знайомство з функціями Azure для розробки безсерверних обчислювальних рішень і керованих подіями архітектур;- Розуміння Azure PureView для керування якістю даних і профілювання даних ;- Володіння машинним навчанням Azure для створення та розгортання моделей машинного навчання в хмарному середовищі;- Здатність проектувати та розробляти масштабовані, надійні й ефективні рішення обробки даних на хмарній платформі Azure;- Досконале володіння моделюванням даних і принципами проектування баз даних для забезпечити цілісність даних і оптимізувати продуктивність запитів;- Знання найкращих практик управління даними та безпеки даних для забезпечення відповідності та конфіденційності даних;- Досвід інтеграції даних і методів перетворення даних для вилучення, трансформації та завантаження (ETL) даних із різних джерел у цільові сховища даних;- Знайомство з концепціями та методами машинного навчання для підтримки спеціалістів з обробки даних у розробці та розгортанні моделей;- Розуміння платформ хмарних обчислень (Azure та/або AWS) та їхніх послуг для завдань інженерії та обробки даних. Обов’язки:- Тісна робота з нашими інженерами та клієнтом, щоб розробити високоякісний результат для наших клієнтів; - Спілкування із зовнішніми веб-сервісами та збір дати; - Розробка та написання ефективного, читабельного коду в (ADF/Synapse, SQL, Databricks, Events Hub, Azure Functions, PureView);- Робота зі сторонніми бібліотеками; - Процеси розвитку самовдосконалення. Приємно мати: - Вміння програмувати на Python для створення сценаріїв і автоматизації робочих процесів розробки даних; - Сильні навички спілкування та співпраці для ефективної роботи з міжфункціональними командами та зацікавленими сторонами; - Здатність бути в курсі останніх тенденцій і досягнень в інженерії даних і хмарних технологіях; - Сильні навички вирішення проблем і здатність усувати несправності та налагоджувати процеси і робочі процеси інженерії даних.