Старший инженер GCP в UST Ukraine

Старший инженер GCP

Киев, за кордоном, виддалено

СТЮ Украина ищет старшего инженера GCP для работы команда нашего клиента, которая готовится произвести революцию в сфере данных, создав передовую платформу Enterprise Data Lakehouse. Они формируют ключевые команды платформы, которые возглавят создание основополагающих компонентов платформы. Эти команды выходят за рамки традиционного приема данных; они являются архитекторами платформы, управляемой микросервисами, предоставляя абстракции, которые позволяют другим командам беспрепятственно расширять платформу.

Местоположение: Украина, Польша.

График работы: необходимо совпадение с восточным регионом США.

Обзор роли: мы ищем динамичного и высококвалифицированного инженера, который будет возглавить эту основополагающую работу. На эту роль требуется человек, который не только обладает глубоким пониманием ландшафта разработки данных, но и находится в авангарде своей игры. Идеальный кандидат внесет значительный вклад в развитие платформы, возглавив команду подрядчиков и одновременно активно формируя будущее нашей экосистемы данных.

Обязанности:

• Проектирование и разработка основных компонентов платформы данных с архитектурой микросервисов, платформой абстрагирования и сложной инфраструктурой.
• Создавайте и обслуживайте необходимые SDK и библиотеки для платформ данных, следуя лучшим отраслевым практикам.
• Проектируйте и разрабатывайте платформы коннекторов и современные коннекторы для получения данных из разрозненных приложений как локальных, так и облачных.
• Разрабатывайте и оптимизируйте хранение, обработку и производительность запросов для крупномасштабных наборов данных, используя лучшие отраслевые практики.
• Проектируйте и разрабатывайте системы и процессы обеспечения качества данных, чтобы обеспечить точность и надежность данных.
• Сотрудничайте с учеными, аналитиками и межфункциональными группами для разработки моделей данных, схем баз данных и решений для хранения данных.
• Проектируйте и разрабатывайте расширенные возможности аналитики и машинного обучения на платформе данных.
• Проектировать и разрабатывать системы и методы наблюдения и управления данными.
• Будьте в курсе последних тенденций, технологий и передового опыта в области обработки данных.
• Управляйте циклами развертывания и выпуска, обеспечивая надежную и масштабируемую платформу.

Требования :

• 12+ подтвержденного опыта в области современного облачного проектирования данных, архитектуры данных, хранилищ данных и разработки программного обеспечения. .
• Опыт проектирования и создания комплексных платформ данных в среде GCP с использованием BigQuery и других сервисов при соблюдении рекомендаций по передовому опыту, таких как открытые стандарты, стоимость, производительность, время вывода на рынок и минимизация привязки к поставщику < /li>
• Большой опыт создания платформ данных в среде GCP.
• Большой опыт проектирования и разработки модульных компонентов распределенной платформы данных с микросервисной архитектурой. Необходим большой опыт работы с Docker, Kubernetes, API.
• Владение инструментами и технологиями обработки данных — SQL, Python, Spark, DBT, Airflow, Kafka.
• Большой опыт реализации линии передачи данныхкачество данных и наблюдаемость данных для рабочих процессов с большими данными.
• Большой опыт работы с современным моделированием данных, архитектурой данных и принципами управления данными.
• Отличный опыт работы с принципами DataOps и автоматизацией тестирования.
• Отличный опыт работы с инструментами наблюдения — Grafana и Datadog.

Приятно иметь :

• Опыт работы с архитектурой Data Mesh.
• Опыт создания семантических слоев для платформ данных.
• Опыт создания масштабируемых архитектур Интернета вещей.

Мы предлагаем:

• Гибкий график и возможность работать удаленно (8-часовой рабочий день).
• Дружелюбный профессиональный коллектив и теплая атмосфера.
• Среда, в которой можно реализовать свои идеи.
• Оплачиваемые отпуска и больничные.
• Медицинская страховка.
• Возможность работать удаленно.
• Участие в образовательных мероприятиях и тематических конференциях.
• Командные вечеринки и корпоративные мероприятия.