Ведущий инженер данных в N-iX

Наш клиент готовится революционизировать нашу среду данных, создав передовую платформу Enterprise Data Lakehouse. Мы формируем несколько команд, которые возглавят создание основных компонентов платформы. Эти команды выходят за рамки традиционного приема данных; они являются архитекторами платформы, управляемой микросервисами, предоставляя абстракции, которые позволяют другим командам беспрепятственно расширять платформу.

Мы ищем динамичного и высококвалифицированного инженера по обработке данных, который имеет большой опыт создания самообслуживающихся платформ данных масштаба предприятия с микросервисной архитектурой и возглавляет эти основополагающие усилия. На эту роль требуется человек, который не только обладает глубоким пониманием
среды разработки данных, но также имеет очень сильный опыт разработки программного обеспечения, особенно в области создания инфраструктур и архитектур микросервисов. Идеальный кандидат будет индивидуальным участником, а также техническим руководителем и внесет значительный вклад в разработку платформы и активно формирует нашу экосистему данных.

Требования:

• Предыдущий опыт проектирования и создания успешных самообслуживающихся платформ данных масштаба предприятия в новой среде с архитектурой на основе микросервисов.
• Обязательным условием является умение создавать комплексные платформы данных и сервисы данных в GCP.
• Владение инструментами и технологиями: BigQuery, Cloud Functions, Cloud Run, Dataform, Dataflow, Dataproc, SQL, Python, Airflow, PubSub.
• Опыт работы с микросервисными архитектурами – Kubernetes, Docker. Наши микросервисы создаются с использованием стека TypeScript, NestJS, NodeJS. Отдавайте предпочтение кандидатам с таким опытом.
• Опыт создания уровней Symantec.
• Навыки проектирования и проектирования, а также опыт разработки пакетной инфраструктуры и потоковой передачи в реальном времени и рабочих нагрузок.
• Солидный опыт проектирования и реализации управления метаданными, включая каталоги данных, происхождение данных, качество данных и наблюдаемость данных для рабочих процессов с большими данными.
• Практический опыт работы с экосистемой GCP и архитектурами озер данных.
• Глубокое понимание моделирования данных, архитектуры данных и принципов управления данными.
• Отличный опыт работы с принципами DataOps и автоматизацией тестирования.
• Отличный опыт работы с инструментами наблюдения: Grafana, Datadog.

Наш клиент готовится совершить революцию в нашей среде данных, создав передовую платформу Enterprise Data Lakehouse. Мы формируем несколько команд, которые возглавят создание основных компонентов платформы. Эти команды выходят за рамки традиционного приема данных; они являются архитекторами платформы, управляемой микросервисами, предоставляя абстракции, которые позволяют другим командам беспрепятственно расширять платформу.

Мы ищем динамичного и высококвалифицированного инженера по обработке данных, который имеет большой опыт создания самообслуживающихся платформ данных масштаба предприятия с микросервисной архитектурой и возглавляет эти основополагающие усилия. На эту должность требуется человек, который не только обладает глубоким пониманием
ландшафта обработки данных, но и обладает очень сильным программным обеспечением.инженерное образование, специальное создание микросервисных инфраструктур и архитектур. Идеальный кандидат будет индивидуальным участником, а также техническим руководителем и внесет значительный вклад в разработку платформы и активно формирует нашу экосистему данных.

,[Разработка и создание самообслуживающихся платформ данных корпоративного масштаба с использованием архитектуры на основе микросервисов с нуля в новой среде. Разработка и внедрение архитектур микросервисов. Создавайте структуры и компоненты микросервисов, которые обеспечивают абстракции для беспрепятственного расширения другими командами. Создавайте и интегрируйте уровни Symantec в платформу данных для повышения функциональности и результативности. Проектируйте и разрабатывайте инфраструктуру для пакетных и потоковых рабочих нагрузок данных в реальном времени, обеспечивая эффективность и масштабируемость. обработка данных. Внедрение комплексных решений по управлению метаданными, включая каталоги данных, происхождение данных, качество данных и возможность наблюдения за данными для рабочих процессов с большими данными. Использование практического опыта работы с экосистемой GCP для создания и обслуживания архитектур озер данных, которые поддерживают данные компании. стратегии. Внедрять принципы DataOps и автоматизировать процессы тестирования для обеспечения непрерывной интеграции, доставки и развертывания решений по обработке данных. Разрабатывать и использовать инструменты наблюдения, такие как Grafana и Datadog, для мониторинга производительности платформы и обеспечения надежности системы. Действовать как в качестве индивидуального участника, так и в качестве индивидуального участника. технический руководитель, руководящий разработкой платформы и формирующий экосистему данных. Предоставляйте наставничество и рекомендации другим инженерам в команде. Тесно сотрудничайте с несколькими командами, чтобы согласовать разработку платформы с бизнес-целями и техническими требованиями. Содействие беспрепятственной интеграции и расширению компонентов платформы другими командами.] Возможности: GCP, BigQuery, архитектура микросервисов, Python, Docker, SQL, Airflow, Kubernetes, TypeScript, NestJS Инструменты: Agile, Scrum. Бонусы та переваги: ​​Гибкий график работы и возможность удаленной работы, Программа наставничества, Страхование жизни, Бюджет на обучение, Уроки английского языка, Компенсация за сертификаты, Активное техносообщество, Интернациональная команда, Реферальная программа, Кафетерий, Современный офис, Бесплатный кофе, Кухня, Дружелюбная атмосфера .