Старший інженер з обробки даних Python в Nortal

ОглядNortal запрошує досвідченого старшого інженера Python (Data) приєднатися до команди проекту нашого клієнта — міжнародного гіганта гірничодобувної промисловості! Компанія переглядає та оцифровує процес видобутку корисних копалин, використовуючи найновіші та найінноваційніші ІТ-технології, щоб створити стабільну цінність у межах інтегрованого ланцюга створення вартості. Про нашого клієнта. Наш клієнт — глобальна видобувна компанія з портфоліо продуктів світового класу, які щодня використовується мільярдом споживачів. Наш клієнт покладається на дані та передову науку про дані, щоб покращити свою діяльність. Вони також використовують передове машинне навчання та штучний інтелект для оптимізації своїх процесів. Про проект. Наш клієнт — гігантська корпорація з 90 000 співробітників у всьому світі. У них є власний інноваційний ІТ-відділ, який займається повним циклом розробки продуктів, які використовує організація. Ви працюватимете в міжнародній групі експертів для розробки складних програмних рішень, які мають прямий вплив майже на кожен аспект сучасного життя. Ви будете використовувати інноваційні практики та новітні технології, щоб надавати безпечні та стійкі продукти своїм клієнтам у всьому світі. Аналіз даних — це нова дисципліна в технічній функції та функції сталого розвитку нашого клієнта. Компанія збирається генерувати більше даних, ніж будь-коли раніше, і їй потрібно побудувати системи для підтримки цього та для прийняття кращих рішень. Обов’язки Тісно співпрацювати з керівником обробки даних, щоб розробити ефективні стратегії прийому даних, узгоджені з бізнес-цілями Визначити та реалізувати надійне прийом даних шаблони та процеси для забезпечення ефективного та надійного потоку даних у платформу даних організації. Розробка та підтримка багаторазової обробки даних або конвеєрів ETL і кодової бази за допомогою Python, PySpark, Databricks, Airflow, REST API та хмарної платформи Azure. Розробка та впровадження надійних API даних за допомогою фреймворків Python. як-от FastAPI або Flask, і розгортайте їх у службі додатків Azure. Співпрацюйте з багатофункціональними командами, щоб зрозуміти вимоги до даних і надати масштабовані рішення для обробки даних. Розробляти та впроваджувати пакетні та потокові архітектури даних із використанням хмарних служб Azure, таких як Azure Data Factory і Azure Databricks. Сприяти розробці та розгортанню Apache Airflow у службі Azure Kubernetes (AKS) Забезпечте дотримання найкращих практик програмної інженерії, включаючи процеси контролю версій, тестування та безперервної інтеграції/безперервного розгортання (CI/CD) Брайте участь у перегляді коду, технічних обговореннях і сесіях з обміну знаннями в рамках КомандаКваліфікації Хороший досвід роботи з мовою програмування Python. Перевірений досвід роботи з Apache Airflow та його розгортанням у службі Azure Kubernetes. Практичний досвід роботи з фреймворками Python, як-от FastAPI або Flask, і розгортанням API REST у службі додатків Azure. Чітке розуміння основних концепцій і принципів розробки даних. Досвід роботи з хмарними службами Azure, зокрема Azure Data Factory і Azure DatabricksВміння писати код PySpark для обробки та перетворення данихЗдатність розробляти та впроваджувати багаторазово використовувані та масштабовані конвеєри обробки даних і кодову базуГлибоке розуміння розробки програмного забезпеченняпрактики розробки, включаючи контроль версій, тестування та безперервну інтеграцію/безперервне розгортання (CI/CD) Досвід у розробці архітектур пакетних і потокових даних за допомогою служб хмарної платформи Azure Ефективні навички вирішення проблем і здатність вирішувати складні проблеми інженерії даних Відданість постійному навчанню та бути в курсі галузевих тенденцій і найкращих практик у розробці даних Сильні навички спілкування та співпраці зі знанням англійської мови Здатність ефективно працювати в командному середовищі, проводити навчання та документувати процеси Приємно мати: Знайомство з інструментами Python, такими як Pytest, tox, poetryЗнайомство з платформами тестування Python як pytest і створюйте такі інструменти, як tox і poetry. Досвід створення конвеєрів CI/CD і роботи з системами контролю версій на основі Git. Знання технологій контейнеризації, таких як Docker і Kubernetes. Nortal пропонує сімейне середовище та особисту увагу до кожного спеціаліста. Пряма співпраця з європейськими та американськими клієнтами та їх інноваційні продуктиКонкурентоздатна заробітна плата та регулярні огляди. Баланс між роботою та особистим життям, на який ви заслуговуєте: 24 робочі дні оплачуваної відпустки. Компенсація за освіту, фінансові курси мови, сертифікати. , медичне страхування на вимогу, щеплення. Затишне робоче місце та можливості WFH. Захоплюючі події та милі подарунки для вашої родини Показати більше Показати менше Посадовий рівень Старший середній рівень Тип зайнятості Повний робочий день Посадові обов'язки Інформаційні технології Галузі ІТ-послуги та ІТ Консалтинг