Старший інженер з обробки даних Python (SK-1256) в Nortal

Senior Python Data Engineer (SK-1256) Київ, Львів, віддалено Nortal вітає досвідченого Senior Python (Data) Engineer приєднатися до команди проекту нашого клієнта — міжнародного гіганта гірничодобувної промисловості! Компанія переосмислює та оцифровує процес видобутку корисних копалин, використовуючи найновіші та найінноваційніші ІТ-технології, щоб створити стійку вартість у інтегрованому ланцюжку створення вартості. Про нашого клієнта Наш клієнт — глобальна гірничодобувна компанія з портфоліо продуктів світового класу, якими щодня користуються мільярди споживачів. Наш клієнт покладається на ondata та передову науку про дані, щоб покращити свою діяльність. Вони також використовують передове машинне навчання та штучний інтелект для оптимізації своїх процесів. Про проект Наш клієнт - гігантська корпорація з 90 000 співробітників по всьому світу. У них є власний інноваційний ІТ-відділ, який займається всім циклом розробки продуктів, які використовує організація. Ви працюватимете в міжнародній команді експертів для розробки складних програмних рішень, які мають прямий вплив майже на кожен аспект сучасного життя. Ви будете використовувати інноваційні практики та новітні технології, щоб постачати безпечні та стійкі продукти своїм клієнтам у всьому світі. Аналіз даних — це нова дисципліна в технічній функції та функції сталого розвитку нашого клієнта. Компанія збирається генерувати більше даних, ніж будь-коли раніше, і їй потрібно побудувати системи для підтримки цього та для прийняття кращих рішень. Місія Тісно співпрацювати з керівником обробки даних, щоб розробити ефективні стратегії прийому даних, узгоджені з бізнес-цілями. Визначити та впровадити надійні шаблони прийому даних і процеси, щоб забезпечити ефективний і надійний потік даних у платформу даних організації. Розробити та підтримувати багаторазове використання даних або конвеєри ETL і кодову базу за допомогою Python, PySpark, Databricks, Airflow, REST API та хмарна платформа Azure. Розробка та впровадження надійних API даних за допомогою фреймворків Python, таких як FastAPIабо Flask, і розгортання їх у службі додатків Azure. Співпраця з багатофункціональними командами, щоб зрозуміти вимоги до даних і надати масштабовані рішення для обробки даних. Проектувати та впроваджувати. архітектури пакетних і потокових даних із використанням хмарних служб Azure, як-от Azure Data Factory і Azure Databricks. Сприяти розробці та розгортанню Apache Airflow у службі Azure Kubernetes (AKS) Забезпечувати дотримання найкращих практик розробки програмного забезпечення, включаючи контроль версій, тестування та постійну інтеграцію/безперервне розгортання (CI). /CD) Участь у перегляді incode, технічних обговореннях і сесіях з обміну знаннями в команді Вимоги: Хороший досвід роботи з мовою програмування Python Перевірений досвід роботи з Apache Airflow та його розгортанням у службі Azure Kubernetes Практичний досвід роботи з такими фреймворками Python, як FastAPI або Flask, і розгортанням REST API onAzure App Service. Чітке розуміння основних концепцій і принципів інженерії даних. Значний досвід роботи з хмарними службами Azure, включаючи Azure Data Factory і Azure Databricks. Вміння писати код PySpark для обробки та перетворення даних. Здатність проектувати та впроваджувати багаторазово використовувані та масштабовані конвеєри інженерних даних і базу коду. Звук.розуміння методів розробки програмного забезпечення, включаючи контроль версій, тестування та безперервну інтеграцію/безперервне розгортання (CI/CD) Досвід проектування архітектур пакетних і потокових даних за допомогою служб хмарної платформи Azure Ефективні навички вирішення проблем і здатність вирішувати складні проблеми інженерії даних Відданість безперервній роботі вивчати та бути в курсі галузевих тенденцій і найкращих практик інженерії даних Сильні комунікаційні навички та навички співпраці зі знанням англійської мови Здатність ефективно працювати в колективному середовищі, проводити навчання та документувати процеси Приємно мати: Знайомство з інструментами Python, такими як Pytest, tox, poetry Знайомство з тестуванням Python такі фреймворки, як pytest, і інструменти для створення, як-от tox і poetry. Досвід створення конвеєрів CI/CD і роботи з системами контролю версій на основі Git. Знання технологій контейнеризації, таких як Docker і Kubernetes. Nortal пропонує сімейне середовище та персональний підхід до кожного спеціаліста. Пряма співпраця з європейськими та американськими клієнтами. та їхні інноваційні продукти Конкурентоспроможна заробітна плата та регулярні огляди Баланс між роботою та особистим життям, на який ви заслуговуєте: 24 робочі дні оплачуваної відпустки Компенсація за освіту, фінансовані мовні курси, сертифікати «Benefit Cafe з різними категоріями, як-от спорт, відпочинок, книги, паливо тощо. Охорона здоров’я: 10 оплачуваних листки непрацездатності, медичне страхування на вимогу, щеплення. Затишне робоче місце та можливості WFH. Захоплюючі події та чудові подарунки для вашої родини. Допомога у переїзді до Польщі на вимогу. У вашому резюме, будь ласка, дозвольте нашій компанії використовувати ваші особисті дані.