Інженер даних (Azure Databricks) в LimestoneDigital

Limestone Digital шукає інженера даних для розширення нашої команди.

Вимоги:

- Досконалий досвід роботи з Azure Data Factory (ADF) і Azure Synapse для проектування та впровадження конвеєрів даних і робочих процесів;

- Досвід у SQL для запитів і маніпулювання даними всередині реляційні бази даних і сховища даних;

- Досвід роботи з Databricks для обробки великих даних, дослідження даних і розширеної аналітики;

- Знання Azure Events Hub для прийому та обробки даних у реальному часі потоки;

- Знайомство з функціями Azure для розробки безсерверних обчислювальних рішень і керованих подіями архітектур;

- Розуміння Azure PureView для управління якістю даних і профілювання даних;

- Здатність проектувати та розробляти масштабовані, надійні та ефективні рішення обробки даних на хмарній платформі Azure;

- Досконале володіння моделюванням даних і принципами проектування бази даних для забезпечення цілісності даних і оптимізації продуктивності запитів;

- Знання найкращих методів керування та безпеки даних для забезпечення відповідності та конфіденційності даних;

- Досвід інтеграції даних і методів перетворення даних для вилучення, перетворення та завантаження (ETL) даних із різних джерел у цільові сховища даних;

- Знайомство з концепціями та методами машинного навчання для підтримки даних вчені в розробці та розгортанні моделей;

- Розуміння платформ хмарних обчислень (Azure та/або AWS) та їхніх послуг для завдань інженерії та обробки даних.

- тісно співпрацювати з нашими інженерами та клієнтами, щоб отримати високоякісний результат для наших клієнтів;

- зв’язок із зовнішніми веб-службами і дата збору даних;

- Розробка та написання ефективного, читабельного коду в (ADF/Synapse, SQL, Databricks, Events Hub, Azure Functions, PureView);

- Робота з третьою партійні бібліотеки;

- Процеси розвитку самовдосконалення.

Приємно мати:

- Досконале володіння програмуванням на Python для створення сценаріїв і автоматизації робочих процесів розробки даних;

- Сильні навички спілкування та співпраці для ефективної роботи з міжфункціональними командами та зацікавленими сторонами;

- Здатність бути в курсі- в курсі останніх тенденцій і досягнень у сфері обробки даних і хмарних технологій.