Старший инженер по данным Python в Nortal

Обзор

Nortal   приглашает опытного   старшего инженера Python (данные)   присоединиться к проектной команде нашего клиента — международного гиганта горнодобывающей отрасли! Компания переосмысливает и оцифровывает процесс добычи полезных ископаемых, используя новейшие и самые инновационные ИТ-технологии, чтобы создать устойчивую ценность в рамках интегрированной цепочки создания стоимости.

О нашем клиенте

Наш клиент — глобальная горнодобывающая компания с портфелем продуктов мирового класса, которыми ежедневно пользуются миллиарды потребителей. Наш клиент полагается на данные и передовую науку о данных для улучшения своей деятельности. Они также используют передовое машинное обучение и искусственный интеллект для оптимизации своих процессов.

О проекте

Наш клиент — гигантская корпорация с 90 000 сотрудников по всему миру. У них есть собственный инновационный ИТ-отдел, занимающийся всем циклом разработки продуктов, используемых организацией. Вы будете работать в международной команде экспертов над разработкой сложных программных решений, которые оказывают непосредственное влияние практически на все аспекты современной жизни. Вы будете использовать инновационные методы и новейшие технологии для доставки безопасных и экологически чистых продуктов своим клиентам по всему миру. Аналитика данных — это новая дисциплина в отделе технической поддержки и устойчивого развития нашего клиента. Компания собирается генерировать больше данных, чем когда-либо прежде, и ей необходимо создать системы для поддержки этого и принятия более эффективных решений.

Обязанности

• Тесно сотрудничать с руководителем отдела разработки данных для разработки эффективных стратегий приема данных, соответствующих бизнес-целям.
• Определить и внедрить надежные шаблоны и процессы приема данных, чтобы обеспечить эффективность и надежный поток данных в платформу данных организации.
• Разрабатывайте и обслуживайте многоразовые конвейеры обработки данных или ETL и кодовую базу с использованием Python, PySpark, Databricks, Airflow, API REST и облачной платформы Azure.
• Разрабатывайте и внедряйте надежные API данных с помощью платформ Python, таких как FastAPI или Flask, и развертывайте их в Службе приложений Azure.
• Сотрудничайте с межфункциональными группами, чтобы понять требования к данным и предоставить масштабируемые решения для обработки данных.
• > Проектируйте и внедряйте архитектуры пакетной и потоковой передачи данных с использованием облачных служб Azure, таких как Azure Data Factory и Azure Databricks.
• Участвуйте в разработке и развертывании Apache Airflow в службе Azure Kubernetes (AKS).
• Обеспечьте соблюдение лучших практик разработки программного обеспечения, включая контроль версий, тестирование и процессы непрерывной интеграции/непрерывного развертывания (CI/CD).
• Участвуйте в проверках кода, технических обсуждениях и сеансах обмена знаниями внутри команды < /li>

Квалификация

• Хороший опыт работы с языком программирования Python.
• Подтвержденный опыт работы с Apache Airflow и его развертыванием в службе Azure Kubernetes.
• Практический опыт работы с Платформы Python, такие как FastAPI или Flask, и развертывание REST API в Службе приложений Azure.
• Хорошее понимание основных концепций и принципов обработки данных.
• Большой опыт работы.с облачными службами Azure, включая Azure Data Factory и Azure Databricks.
• Навыки написания кода PySpark для обработки и преобразования данных.
• Способность проектировать и реализовывать многоразовые и масштабируемые конвейеры обработки данных и кодовую базу < /li>
• Хорошее понимание методов разработки программного обеспечения, включая контроль версий, тестирование и непрерывную интеграцию/непрерывное развертывание (CI/CD).
• Опыт проектирования архитектур пакетной и потоковой передачи данных с использованием облачной платформы Azure. услуги
• Навыки эффективного решения проблем и способность устранять сложные проблемы с инженерией данных.
• Стремление к постоянному обучению и постоянному обновлению отраслевых тенденций и передового опыта в области инженерии данных.
• li> Сильные коммуникативные навыки и навыки сотрудничества, а также знание английского языка.
• Способность эффективно работать в командной среде, проводить обучение и документировать процессы.

Приятно иметь:

• Знакомство с инструментами Python, такими как Pytest, tox, поэзия
• Знакомство со средами тестирования Python, такими как pytest, и инструментами сборки, такими как Tox и Poise
• Опыт построения CI /CD конвейеры и работа с системами контроля версий на базе Git
• Знание технологий контейнеризации, таких как Docker и Kubernetes

Предложения Nortal

• Семейная атмосфера и персональное внимание к каждому специалисту
• Прямое сотрудничество с клиентами из Европы и США и их инновационными продуктами
• Конкурентоспособная заработная плата и регулярные отзывы
• Конкурентоспособная заработная плата и регулярные отзывы
• li>
• Баланс между работой и личной жизнью, которого вы заслуживаете: 24 рабочих дня оплачиваемого отпуска
• Компенсация за обучение, финансируемые языковые курсы, сертификаты
• «Кафе Benefit с различными категориями, такими как спорт, досуг, книги, топливо и т. д.
• Здравоохранение: 10 оплачиваемых больничных, медицинская страховка по требованию, прививки
• Уютное рабочее место и возможности WFH
• Увлекательно мероприятия и приятные подарки для вашей семьи