Інженер даних Azure в Lingarogroup

Ми шукаємо досвідченого інженера з хмарних даних, який володіє Azure і Databricks. Ідеальний кандидат матиме практичний досвід проектування та впровадження конвеєрів даних, рішень для сховищ даних і робочих процесів ETL, тож якщо це відповідає вашому досвіду, не соромтеся Завдання: - Проектування та впровадження систем обробки даних на платформі Azure. Це включає в себе написання ефективного та масштабованого коду для обробки, перетворення та очищення великих обсягів структурованих і неструктурованих даних.- Створення конвеєрів даних для отримання даних із різних джерел, таких як бази даних, API або потокові платформи.- Інтеграція та перетворення даних для забезпечення їх сумісність із цільовою моделлю чи форматом даних.- Практичний досвід проектування та оптимізації сховищ даних (озера даних, сховища даних, розподілені файлові системи).- Знайомство з розділенням, стисненням, оптимізацією зберігання та пошуку даних.- Виявлення та усунення вузьких місць, налаштування запитів і впровадження стратегій кешування для підвищення швидкості пошуку даних і загальної ефективності системи.- Співпраця з багатофункціональними командами, включаючи спеціалістів з обробки даних, аналітиків і бізнес-стейкхолдерів для розуміння їхніх вимог і надання технічних рішень.- Незалежність і відповідальність у надання рішень.- Здатність працювати за гнучкими методологіями. Вимоги: - Перевірений досвід роботи з хмарною інфраструктурою Azure, Databricks і одним із впровадження SQL (наприклад, Oracle, T-SQL, MySQL тощо).- Принаймні 4 роки досвід роботи з Data&Analytics - Дуже хороший рівень комунікації, включаючи здатність чітко та конкретно передавати інформацію колегам і зацікавленим сторонам. - Досвід роботи в гнучких методологіях – допоміжні інструменти (JIRA, Azure DevOps). - Англійська принаймні на рівні B2, в ідеалі C1.- Досвід або знайомство з іншими хмарними технологіями, сховищами даних, управління даними та бізнес-аналізом є плюсом. Приємно мати:- Знання Python- Навички програмування для аналізу даних (особливо PySpark, SparkSQL)