Старший инженер по данным Python в Nortal

ОбзорNortal приглашает опытного старшего инженера Python (Data) присоединиться к проектной команде нашего клиента — международного гиганта горнодобывающей отрасли! Компания переосмысливает и оцифровывает процесс добычи полезных ископаемых, используя новейшие и самые инновационные ИТ-технологии, чтобы создать устойчивую ценность в рамках интегрированной цепочки создания стоимости. О нашем клиентеНаш клиент — глобальная горнодобывающая компания с портфелем продуктов мирового класса, которые которым ежедневно пользуются миллиарды потребителей. Наш клиент полагается на данные и передовую науку о данных для улучшения своей деятельности. Они также используют передовое машинное обучение и искусственный интеллект для оптимизации своих процессов. О проектеНаш клиент — гигантская корпорация с 90 000 сотрудников по всему миру. У них есть собственный инновационный ИТ-отдел, занимающийся всем циклом разработки продуктов, используемых организацией. Вы будете работать в международной команде экспертов над разработкой сложных программных решений, которые оказывают непосредственное влияние практически на все аспекты современной жизни. Вы будете использовать инновационные методы и новейшие технологии для доставки безопасной и устойчивой продукции своим клиентам по всему миру. Аналитика данных — это новая дисциплина в отделе технической поддержки и устойчивого развития нашего клиента. Компания собирается генерировать больше данных, чем когда-либо прежде, и ей необходимо создать системы для поддержки этого и принятия более эффективных решений. Обязанности Работайте в тесном контакте с руководителем отдела разработки данных для разработки эффективных стратегий приема данных, соответствующих бизнес-целям. Определите и внедрите надежный прием данных. шаблоны и процессы для обеспечения эффективного и надежного потока данных в платформу данных организации. Разработка и поддержка многоразовых конвейеров обработки данных или ETL, а также кодовой базы с использованием Python, PySpark, Databricks, Airflow, API REST и облачной платформы Azure. Разработка и внедрение надежных API данных с использованием платформ Python. такие как FastAPI или Flask, и развертывать их в Службе приложений Azure. Сотрудничать с межфункциональными командами, чтобы понять требования к данным и предоставлять масштабируемые решения для инженерии данных. Проектировать и внедрять архитектуры пакетной и потоковой передачи данных с использованием облачных служб Azure, таких как Azure Data Factory и Azure Databricks. Вносить вклад в разработку и развертывание. Apache Airflow в службе Azure Kubernetes (AKS) Обеспечьте соблюдение передовых методов разработки программного обеспечения, включая контроль версий, тестирование и процессы непрерывной интеграции/непрерывного развертывания (CI/CD). Участвуйте в проверках кода, технических обсуждениях и сеансах обмена знаниями в рамках командаКвалификацииХороший опыт работы с языком программирования PythonПодтвержденный опыт работы с Apache Airflow и его развертыванием в службе Azure KubernetesПрактический опыт работы с платформами Python, такими как FastAPI или Flask, и развертыванием REST API в Службе приложений AzureХорошее понимание основных концепций и принципов обработки данныхБольшой опыт работы с облачными службами Azure, включая Azure Data Factory и Azure Databricks. Навыки написания кода PySpark для обработки и преобразования данных. Способность проектировать и реализовывать многоразовые и масштабируемые конвейеры обработки данных и кодовую базу. Хорошее понимание разработки программного обеспечения.практики разработки, включая контроль версий, тестирование и непрерывную интеграцию/непрерывное развертывание (CI/CD).Опыт проектирования архитектур пакетной и потоковой передачи данных с использованием сервисов облачной платформы Azure. Навыки эффективного решения проблем и способность устранять сложные проблемы с инженерией данных. Стремление к непрерывному обучению и быть в курсе отраслевых тенденций и лучших практик в области обработки данных. Сильные навыки общения и сотрудничества, а также знание английского языка. Способность эффективно работать в командной среде, проводить обучение и документировать процессы. Приятно иметь: Знакомство с инструментами Python, такими как Pytest, tox, поэтическое знание. Знакомство со средами тестирования Python. такие как pytest и инструменты сборки, такие как tox и поэзияОпыт построения CI/CD-конвейеров и работы с системами контроля версий на базе GitЗнание технологий контейнеризации, таких как Docker и KubernetesNortal предлагаетСемейная среда и индивидуальный подход к каждому специалистуПрямое сотрудничество с клиентами из Европы и США и их инновационные продуктыКонкурентоспособная заработная плата и регулярные обзорыБаланс между работой и личной жизнью, которого вы заслуживаете: 24 рабочих дня оплачиваемого отпуска. Компенсация за обучение, финансируемые языковые курсы, сертификаты. Кафе Benefit с различными категориями, такими как спорт, отдых, книги, топливо и т. д. Здравоохранение: 10 оплачиваемых отпусков по болезни. , медицинская страховка по требованию, прививкиУютное рабочее место и возможности WFHУвлекательные мероприятия и приятные подарки для вашей семьи Показать больше Показать меньше Посадовый рівень Старший средний рівень Тип зайнятості Повний рабочий день Посадові обов'язки Информаційні технології Галузі ІТ-послуги та ІТ Консалтинг