Старший інженер з обробки даних Python в Nortal

Огляд

Nortal   вітає досвідченого   старшого інженера Python (Data)   приєднатися до команди проекту нашого клієнта — міжнародного гіганта гірничодобувної промисловості! Компанія переосмислює та оцифровує процес видобутку корисних копалин, використовуючи найновіші та найінноваційніші ІТ-технології, щоб створити стійку цінність у межах інтегрованого ланцюжка створення вартості.

Про нашого клієнта

Наш клієнт — це глобальна гірничодобувна компанія з портфоліо продуктів світового класу, якими щодня користується мільярд споживачів. Наш клієнт покладається на дані та передову науку про дані, щоб поліпшити свою діяльність. Вони також використовують передове машинне навчання та штучний інтелект для оптимізації своїх процесів.

Про проект

Наш клієнт – гігантська корпорація з 90 000 співробітників по всьому світу. У них є власний інноваційний ІТ-відділ, який займається всім циклом розробки продуктів, які використовує організація. Ви працюватимете в міжнародній команді експертів для розробки складних програмних рішень, які мають прямий вплив майже на кожен аспект сучасного життя. Ви використовуватимете інноваційні практики та новітні технології, щоб доставляти безпечні та стійкі продукти їхнім клієнтам у всьому світі. Аналіз даних — це нова дисципліна у функції технічного та сталого розвитку нашого клієнта. Компанія збирається генерувати більше даних, ніж будь-коли раніше, і їй потрібно створити системи для підтримки цього та для прийняття кращих рішень.

Обов'язки

• Тісно співпрацюйте з керівником обробки даних, щоб розробити ефективні стратегії прийому даних, узгоджені з бізнес-цілями
• Визначити та запровадити надійні шаблони та процеси прийому даних, щоб забезпечити ефективне та надійний потік даних у платформу даних організації
• Розробка та підтримка багаторазового використання даних або конвеєрів ETL і кодової бази за допомогою Python, PySpark, Databricks, Airflow, REST API та хмарної платформи Azure
• Створюйте та впроваджуйте надійні API даних за допомогою фреймворків Python, таких як FastAPI або Flask, і розгортайте їх у службі додатків Azure
• Співпрацюйте з багатофункціональними командами, щоб розуміти вимоги до даних і надавати масштабовані рішення для обробки даних
• Розробляйте та впроваджуйте пакетні та потокові архітектури даних із використанням хмарних служб Azure, таких як Azure Data Factory і Azure Databricks.
• Внесіть свій внесок у розробку та розгортання Apache Airflow у службі Azure Kubernetes (AKS)
• Забезпечте дотримання передових практик розробки програмного забезпечення, включаючи контроль версій, тестування та процеси безперервної інтеграції/безперервного розгортання (CI/CD).
• Беріть участь у перегляді коду, технічних обговореннях і сесіях для обміну знаннями всередині команди < /li>

Кваліфікація

• Хороший досвід роботи з мовою програмування Python
• Перевірений досвід роботи з Apache Airflow і його розгортанням у службі Azure Kubernetes
• Практичний досвід роботи з Фреймворки Python, як-от FastAPI або Flask, і розгортання REST API у службі додатків Azure
• Чітке розуміння основних концепцій і принципів розробки даних
• Солідний досвідз хмарними службами Azure, включаючи Azure Data Factory і Azure Databricks
• Вміння писати код PySpark для обробки та перетворення даних
• Здатність проектувати та впроваджувати багаторазово використовувані та масштабовані конвеєри обробки даних і кодову базу < /li>
• Глибоке розуміння методів розробки програмного забезпечення, включаючи контроль версій, тестування та безперервну інтеграцію/безперервне розгортання (CI/CD)
• Досвід проектування архітектур пакетних і потокових даних за допомогою хмарної платформи Azure послуги
• Ефективні навички вирішення проблем і здатність вирішувати складні проблеми інженерії даних
• Відданість безперервному навчанню та бути в курсі галузевих тенденцій і передового досвіду в інженерії даних
< li> Хороші навички спілкування та співпраці зі знанням англійської мови
• Здатність ефективно працювати в командному середовищі, проводити навчання та документувати процеси

Приємно мати:

• Знайомство з такими інструментами Python, як Pytest, tox, poetry
• Знайомство з фреймворками тестування Python, як-от pytest, і інструментами для створення, як-от tox і poetry
• Досвід у створенні CI /CD конвеєри та робота з системами контролю версій на основі Git
• Знання технологій контейнеризації, таких як Docker і Kubernetes

Пропозиції Nortal

• Сімейна атмосфера та персональна увага до кожного фахівця
• Пряма співпраця з європейськими та американськими клієнтами та їхні інноваційні продукти
• Конкурентоспроможна заробітна плата та регулярні огляди
• Баланс між роботою та особистим життям, на який ви заслуговуєте: 24 робочі дні оплачуваної відпустки
• Компенсація за освіту, фінансовані мовні курси, сертифікати
• "Benefit Cafe з різними категоріями, як-от спорт, дозвілля, книги, пальне тощо.
• Охорона здоров’я: 10 оплачуваних лікарняних, медичне страхування на вимогу, щеплення
• Затишне робоче місце та можливості WFH
• Захоплюючі події та чудові подарунки для вашої родини