Старший инженер по данным (Azure) @ GetInData | Часть Ксебии в GetInData | Part of Xebia

Роль инженера по обработке данных включает в себя проектирование, создание и поддержание архитектуры данных, инструментов и процедур, облегчающих сбор, хранение, манипулирование и анализ значительных объемов данных в организации. Эта должность предполагает создание платформ данных на базе общедоступной инфраструктуры и создание оптимизированного пути для инженеров-аналитиков, которые полагаются на систему. Знание языка программирования, такого как Python / Scala или Java. Знание платформ Lakehouse — Databricks. Опыт работы с системами обмена сообщениями — Kafka. Знакомство с системами контроля версий, особенно GIT. Опыт работы программистом и знание разработки программного обеспечения, хороших принципов, практик и решений. Обширное. опыт работы в Microsoft Azure. Знание хотя бы одного инструмента оркестрации и планирования, например Airflow, Azure Data Factory, Prefect, Dagster. Знакомство с практиками и инструментами DevOps, включая Docker, Terraform, CI/CD, Azure DevOps. Способность активно участвовать/руководить. обсуждения с клиентами для выявления и оценки конкретных и амбициозных путей улучшения. Роль инженера по обработке данных включает в себя проектирование, создание и поддержание архитектуры данных, инструментов и процедур, облегчающих сбор, хранение, манипулирование и анализ значительных объемов данных в организации. Эта должность предполагает создание платформ данных на базе общедоступной инфраструктуры и создание оптимизированного пути для инженеров-аналитиков, которые полагаются на систему. ,[Работа вместе с инженерами платформы для оценки и выбора наиболее подходящих технологий и инструментов для проекта, Разработка и внедрение новых функций и инструментов с открытым исходным кодом, Выполнение сложных процедур сбора данных, Внедрение и принятие политик в соответствии со стратегическими планами компании. относительно используемых технологий, организации работы и т. д., Обеспечение соблюдения отраслевых стандартов и правил с точки зрения безопасности, конфиденциальности данных, применяемых на уровне обработки данных, Проведение обучения и обмена знаниями] Требования: Python, Databricks, Kafka, Git, Airflow, Docker, Terraform, CI/CD, Microsoft Azure, Инструменты Azure DevOps: Jira, GitLab, GIT, Jenkins/GitLab, Agile. Дополнительно: Спортивная подписка, Частное медицинское обслуживание, Плоская структура, Небольшие команды, Международные проекты, Командные мероприятия, Бюджет обучения, Бесплатный кофе, Тренажерный зал, Велопарковка, Игровая комната, Бесплатные закуски, Бесплатные напитки, Внутренние тренинги, Атмосфера стартапа, Без дресс-кода , Кухня.