Старший інженер з обробки даних Python (SK-1256) в Nortal

Nortal вітає досвідченого старшого інженера Python (Data) приєднатися до команди проекту нашого клієнта — міжнародного гіганта гірничодобувної промисловості! Компанія переосмислює та оцифровує процес видобутку, використовуючи найновіші та найінноваційніші ІТ-технології, щоб створити стійку цінність у межах інтегрованого ланцюга створення вартості. Про нашого клієнта. Наш клієнт — глобальна видобувна компанія з портфоліо продуктів світового класу, якими щодня користуються мільярди споживачів. Наш клієнт покладається на ondata та передову науку про дані, щоб покращити свою діяльність. Вони також використовують передове машинне навчання та штучний інтелект для оптимізації своїх процесів. Про проект. Наш клієнт — гігантська корпорація з 90 000 співробітників у всьому світі. У них є власний інноваційний ІТ-відділ, який займається всім циклом розробки продуктів, які використовує організація. Ви працюватимете в міжнародній команді експертів для розробки складних програмних рішень, які мають прямий вплив майже на кожен аспект сучасного життя. Ви будете використовувати інноваційні практики та новітні технології, щоб постачати безпечні та стійкі продукти своїм клієнтам у всьому світі. Аналіз даних — це нова дисципліна в технічній функції та функції сталого розвитку нашого клієнта. Компанія збирається генерувати більше даних, ніж будь-коли раніше, і їй потрібно побудувати системи для підтримки цього та для прийняття кращих рішень. Місія Тісно співпрацювати з керівником Data Engineering, щоб розробити ефективні стратегії надходження даних, узгоджені з бізнес-цілями. Визначити та впровадити надійні шаблони та процеси надсилання даних для забезпечення ефективного та надійний потік даних у платформу даних організації. Розробка та підтримка багаторазових інженерних даних або конвеєрів ETL і кодової бази за допомогою Python, PySpark, Databricks, Airflow, REST API і хмарної платформи Azure. Розробка та впровадження надійних API даних за допомогою фреймворків Python, таких як FastAPI або Flask, і розгортання їх у додатку Azure Сервіс Співпрацюйте з міжфункціональними командами, щоб зрозуміти вимоги до даних і надати масштабовані рішення для обробки даних. Розробляти та впроваджувати архітектури пакетних і потокових даних із використанням хмарних служб Azure, як-от Azure Data Factory і Azure Databricks. Сприяти розробці та розгортанню Apache Airflow на Azure Kubernetes Service (AKS) Забезпечувати найкраще дотримання програмної інженерії практики, включаючи контроль версій, тестування та процеси безперервної інтеграції/безперервного розгортання (CI/CD) Брати участь у оглядах коду, технічних обговореннях і сесіях обміну знаннями всередині команди. Вимоги: Хороший досвід роботи з мовою програмування Python Перевірений досвід роботи з Apache Airflow та його розгортання на Azure Kubernetes ServiceHands -досвід роботи з фреймворками Python, як-от FastAPIабо Flask, і розгортання REST API у службі додатків Azure.Глибоке розуміння основних концепцій і принципів інженерії даних.Стійкий досвід роботи з хмарними службами Azure, зокрема Azure Data Factory і Azure Databricks.Вміння писати код PySpark для обробки та перетворення даних.Можливість проектувати та впроваджувати багаторазове використання та масштабування. конвеєри інженерних даних і кодова база. Глибоке розуміння практики розробки програмного забезпечення, включаючи контроль версій, тестування та постійне iІнтеграція/безперервне розгортання (CI/CD) Досвід проектування архітектур пакетних і потокових даних з використанням служб хмарної платформи Azure Ефективні навички вирішення проблем і здатність вирішувати складні проблеми інженерії даних Відданість постійному навчанню та оновленню галузевих тенденцій і найкращих практик у розробці даних Сильні навички спілкування та співпраці зі знанням англійської мови. Здатність ефективно працювати в командному середовищі, проводити навчання та документувати процеси. Приємно мати: Знайомство з інструментами Python, такими як Pytest, tox, poetry. Знайомство з платформами тестування Python, такими як pytest, і такими інструментами створення, як tox і poetry. Досвід створення конвеєрів CI/CD і роботи з Git- Базовані системи контролю версій Знання технологій контейнеризації, таких як Docker і KubernetesNortal пропонує Сімейне середовище та особисту увагу до кожного фахівця Пряма співпраця з європейськими та американськими клієнтами та їхніми інноваційними продуктами Конкурентоспроможна заробітна плата та регулярні огляди Баланс між роботою та особистим життям, на який ви заслуговуєте: 24 робочі дні оплачуваної відпустки Компенсація за навчання, фінансовані мовні курси, сертифікати "Benefit Cafe з різними категоріями, як-от спорт, відпочинок, книги, паливо тощо. Охорона здоров'я: 10 оплачуваних лікарняних, медичне страхування на вимогу, щеплення. Затишне робоче місце та можливості WFH. Захоплюючі події та чудові подарунки для вашої сім'ї. Допомога з переїздом до Польщі на вимогу. У вашому резюме дозвольте наше компанія для використання ваших персональних даних.