Старший инженер по данным (GCP) @ GetInData | Часть Ксебии в GetInData | Part of Xebia

Роль инженера по обработке данных включает в себя создание, создание и поддержание структуры, инструментов и процедур, необходимых организации для сбора, хранения, изменения и тщательного анализа больших объемов данных. Эта должность предполагает создание платформ данных с использованием обычно предоставляемой инфраструктуры и определение четкого пути для инженеров-аналитиков, которые используют систему. Знание языка программирования, такого как Python и SQL. Знание платформы BigQuery DWH. Работа с системами обмена сообщениями Spark. Опыт работы программистом и знание разработки программного обеспечения, хороших принципов, практик и решений. Знакомство с облачной платформой Google Cloud Platform (GCP). Знание как минимум один инструмент оркестрации и планирования, например Airflow, Prefect, Dragster и т. д. Знакомство с областью и инструментами DevOps — GKE, Docker. Опыт работы с системой контроля версий, предпочтительно GIT. Способность активно участвовать/вести дискуссии с клиентами для выявления и оценки конкретных и амбициозные пути улучшения Роль инженера по обработке данных включает в себя создание, создание и поддержание структуры, инструментов и процедур, необходимых организации для сбора, хранения, изменения и тщательного изучения больших объемов данных. Эта должность предполагает создание платформ данных с использованием обычно предоставляемой инфраструктуры и определение четкого пути для инженеров-аналитиков, которые используют систему. ,[Работа вместе с инженерами платформы для оценки и выбора подходящих технологий и инструментов для проекта, НИОКР, обслуживания и мониторинга компонентов платформы, Внедрение сложных процедур сбора данных, Построение эффективных моделей данных, Внедрение и реализация политик, соответствующих стратегическим планам компания в отношении используемых технологий, организации работы и т. д., обеспечение соблюдения отраслевых стандартов и правил с точки зрения безопасности и конфиденциальности данных, применяемых на уровне обработки данных, обеспечение обучения и содействие обмену знаниями] Требования: Python, SQL, BigQuery, GCP , Docker, Kubernetes, GIT, инструменты Airflow: Jira, GitLab, GIT, Jenkins/GitLab, Agile. Дополнительно: Спортивная подписка, Частное медицинское обслуживание, Плоская структура, Небольшие команды, Международные проекты, Командные мероприятия, Бюджет обучения, Бесплатный кофе, Тренажерный зал, Велопарковка, Игровая комната, Бесплатные закуски, Бесплатные напитки, Внутренние тренинги, Атмосфера стартапа, Без дресс-кода , Кухня.