Старший инженер по данным Python (SK-1256) в Nortal

Старший инженер по данным Python (SK-1256) Киев, Львов, удалено Компания Nortal приглашает опытного старшего инженера по Python (данные) присоединиться к проектной команде нашего клиента — международного гиганта горнодобывающей отрасли! Компания переосмысливает и оцифровывает процесс добычи полезных ископаемых, используя новейшие и самые инновационные ИТ-технологии, чтобы создать устойчивую ценность в рамках интегрированной цепочки создания стоимости. О нашем клиенте Наш клиент — глобальная горнодобывающая компания с портфелем продуктов мирового класса, которыми ежедневно пользуются миллиарды потребителей. Наш клиент полагается на данные и передовую науку о данных для улучшения своей деятельности. Они также используют передовое машинное обучение и искусственный интеллект для оптимизации своих процессов. О проекте Наш клиент — гигантская корпорация со штатом 90 000 сотрудников по всему миру. У них есть собственный инновационный ИТ-отдел, занимающийся всем циклом разработки продуктов, используемых организацией. Вы будете работать в международной команде экспертов над разработкой сложных программных решений, которые оказывают непосредственное влияние практически на все аспекты современной жизни. Вы будете использовать инновационные методы и новейшие технологии для доставки безопасных и экологически чистых продуктов своим клиентам по всему миру. Аналитика данных — это новая дисциплина в отделе технической поддержки и устойчивого развития нашего клиента. Компания собирается генерировать больше данных, чем когда-либо прежде, и ей необходимо создать системы для поддержки этого и принятия более эффективных решений. Миссия Тесно сотрудничать с руководителем отдела разработки данных для разработки эффективных стратегий приема данных, соответствующих бизнес-целям. Определить и внедрить надежные шаблоны и процессы приема данных, чтобы обеспечить эффективный и надежный поток данных в платформу данных организации. Разработать и поддерживать многоразовые конвейеры обработки данных или ETL и кодовую базу с использованием Python. PySpark, Databricks, Airflow, API REST и облачная платформа Azure. Разработка и внедрение надежных API данных с использованием платформ Python, таких как FastAPI или Flask, и их развертывание в Службе приложений Azure. Сотрудничество с межфункциональными группами для понимания требований к данным и предоставления масштабируемых решений для обработки данных. Разработка и внедрение. архитектуры пакетной и потоковой передачи данных с использованием облачных служб Azure, таких как Azure Data Factory и Azure Databricks. Участвовать в разработке и развертывании Apache Airflow в службе Azure Kubernetes (AKS). Обеспечивать соблюдение передовых методов разработки программного обеспечения, включая контроль версий, тестирование и непрерывную интеграцию/непрерывное развертывание (CI). /CD) Участвовать в проверках кода, технических обсуждениях и сеансах обмена знаниями внутри команды. Требования: Хороший опыт работы с языком программирования Python. Подтвержденный опыт работы с Apache Airflow и его развертыванием в службе Azure Kubernetes. Практический опыт работы с платформами Python, такими как FastAPI или Flask, и развертыванием REST. API в службе приложений Azure. Хорошее понимание основных концепций и принципов разработки данных. Уверенный опыт работы с облачными службами Azure, включая Azure Data Factory и Azure Databricks. Навыки написания кода PySpark для обработки и преобразования данных. Способность проектировать и реализовывать многоразовые и масштабируемые конвейеры обработки данных и кодовую базу. Надежность.понимание методов разработки программного обеспечения, включая контроль версий, тестирование и непрерывную интеграцию/непрерывное развертывание (CI/CD). Опыт проектирования архитектур пакетной и потоковой передачи данных с использованием служб облачной платформы Azure. Эффективные навыки решения проблем и способность устранять сложные проблемы с инженерией данных. Приверженность непрерывной работе. учиться и оставаться в курсе отраслевых тенденций и лучших практик в области разработки данных. Сильные коммуникативные навыки и навыки совместной работы, а также знание английского языка. Способность эффективно работать в командной среде, проводить обучение и документировать процессы. Приятно иметь: Знакомство с инструментами Python, такими как Pytest, tox, поэзия. Знакомство с тестированием Python. фреймворки, такие как pytest, и инструменты сборки, такие как tox и поэзия. Опыт создания конвейеров CI/CD и работы с системами контроля версий на базе Git. Знание технологий контейнеризации, таких как Docker и Kubernetes. Nortal предлагает семейную среду и личное внимание к каждому специалисту. Прямое сотрудничество с клиентами из Европы и США. и их инновационные продукты. Конкурентоспособная зарплата и регулярные обзоры. Баланс между работой и личной жизнью, которого вы заслуживаете: 24 рабочих дня оплачиваемого отпуска. Компенсация за обучение, финансируемые языковые курсы, сертификаты. «Кафе льгот» с различными категориями, такими как спорт, отдых, книги, топливо и т. д. Здравоохранение: 10 оплачиваемых больничные листы, медицинская страховка по требованию, прививки Уютное рабочее место и возможности WFH Захватывающие мероприятия и приятные подарки для вашей семьи Помощь по запросу при переезде в Польшу В своем резюме разрешите нашей компании использовать ваши личные данные.