Ведущий инженер по данным @ N-iX в N-iX

Наш клиент готовится революционизировать нашу среду данных, создав передовую платформу Enterprise Data Lakehouse. Мы формируем несколько команд, которые возглавят создание основных компонентов платформы. Эти команды выходят за рамки традиционного приема данных; они являются архитекторами платформы, управляемой микросервисами, предоставляя абстракции, которые позволяют другим командам беспрепятственно расширять платформу.

Мы ищем динамичного и высококвалифицированного инженера по обработке данных, который имеет большой опыт создания самообслуживающихся платформ данных масштаба предприятия с микросервисной архитектурой и возглавляет эти основополагающие усилия. На эту роль требуется человек, который не только обладает глубоким пониманием
среды разработки данных, но также имеет очень сильный опыт разработки программного обеспечения, особенно в области создания инфраструктур и архитектур микросервисов. Идеальный кандидат будет индивидуальным участником, а также техническим руководителем и внесет значительный вклад в разработку платформы и активно формирует нашу экосистему данных.

Требования:

• Предыдущий опыт проектирования и построения успешных платформ данных корпоративного масштаба с самообслуживанием в новая среда с архитектурой на основе микросервисов.
• Обязательным условием является умение создавать комплексные платформы данных и сервисы данных в GCP.
• Владение инструментами и технологиями: BigQuery, Cloud Functions, Cloud Run, Dataform, Dataflow, Dataproc, SQL, Python, Airflow, PubSub.
• Опыт работы с микросервисными архитектурами – Kubernetes, Docker. Наши микросервисы создаются с использованием стека TypeScript, NestJS, NodeJS. Отдавайте предпочтение кандидатам с таким опытом.
• Опыт создания уровней Symantec.
• Навыки проектирования и проектирования, а также опыт разработки пакетной инфраструктуры и потоковой передачи в реальном времени и рабочих нагрузок.
• Солидный опыт проектирования и реализации управления метаданными, включая каталоги данных, происхождение данных, качество данных и наблюдаемость данных для рабочих процессов с большими данными.
• Практический опыт работы с экосистемой GCP и архитектурами озер данных.
• Глубокое понимание моделирования данных, архитектуры данных и принципов управления данными.
• Отличный опыт работы с принципами DataOps и автоматизацией тестирования.
• Отличный опыт работы с инструментами наблюдения: Grafana, Datadog.

Наш клиент готовится совершить революцию в нашей среде данных, создав передовую платформу Enterprise Data Lakehouse. Мы формируем несколько команд, которые возглавят создание основных компонентов платформы. Эти команды выходят за рамки традиционного приема данных; они являются архитекторами платформы, управляемой микросервисами, предоставляя абстракции, которые позволяют другим командам беспрепятственно расширять платформу.

Мы ищем динамичного и высококвалифицированного инженера по обработке данных, который имеет большой опыт создания самообслуживающихся платформ данных масштаба предприятия с микросервисной архитектурой и возглавляет эти основополагающие усилия. На эту роль требуется человек, который не только обладает глубоким пониманием
среды разработки данных, но и обладает очень сильными знаниями.ng опыт разработки программного обеспечения, специально для создания инфраструктур и архитектур микросервисов. Идеальный кандидат будет индивидуальным участником, а также техническим руководителем и внесет значительный вклад в разработку платформы и активно формирует нашу экосистему данных.

,[Разработка и создание самообслуживающихся платформ данных корпоративного масштаба с использованием архитектуры на основе микросервисов с нуля в новой среде. Разработка и внедрение архитектур микросервисов. Создавайте структуры и компоненты микросервисов, которые обеспечивают абстракции для беспрепятственного расширения другими командами. Создавайте и интегрируйте уровни Symantec в платформу данных для повышения функциональности и результативности. Проектируйте и разрабатывайте инфраструктуру для пакетных и потоковых рабочих нагрузок данных в реальном времени, обеспечивая эффективность и масштабируемость. обработка данных. Внедрение комплексных решений по управлению метаданными, включая каталоги данных, происхождение данных, качество данных и возможность наблюдения за данными для рабочих процессов с большими данными. Использование практического опыта работы с экосистемой GCP для создания и обслуживания архитектур озер данных, которые поддерживают данные компании. стратегии. Внедрять принципы DataOps и автоматизировать процессы тестирования для обеспечения непрерывной интеграции, доставки и развертывания решений по обработке данных. Разрабатывать и использовать инструменты наблюдения, такие как Grafana и Datadog, для мониторинга производительности платформы и обеспечения надежности системы. Действовать как в качестве индивидуального участника, так и в качестве индивидуального участника. технический руководитель, руководящий разработкой платформы и формирующий экосистему данных. Предоставляйте наставничество и рекомендации другим инженерам в команде. Тесно сотрудничайте с несколькими командами, чтобы согласовать разработку платформы с бизнес-целями и техническими требованиями. Содействие беспрепятственной интеграции и расширению компонентов платформы другими командами.]

Требования: GCP, BigQuery, архитектура микросервисов, Python, Docker, SQL, Airflow, Kubernetes, TypeScript, NestJS < br/> Инструменты: Agile, Scrum.
Дополнительно: Гибкий график работы и возможность удаленной работы, Программа наставничества, Страхование жизни, Бюджет на обучение, Уроки английского языка, Компенсация за сертификаты, Активное технологическое сообщество, Международная команда, Реферальная программа, Кафетерий, Современный Офис, Бесплатный кофе, Кухня, Дружелюбная атмосфера.