Старший інженер GCP в UST Ukraine

Senior GCP Engineer

Київ, за кордоном, віддалено

UST Ukraine шукає Senior GCP Engineer to join команда нашого клієнта, який готується до революції в ландшафті даних шляхом створення передової платформи Enterprise Data Lakehouse. Вони формують головні команди платформи, які очолить створення основоположних компонентів платформи. Ці команди виходять за рамки традиційного прийому даних; вони є архітекторами платформи, керованої мікросервісами, надаючи абстракції, які дають змогу іншим командам безпроблемно розширювати платформу.

Розташування: Україна, Польща.

Графік роботи: потрібне перекриття зі східною частиною США.

Огляд ролі: ми потрібно динамічного та висококваліфікованого інженера, який очолить ці фундаментальні зусилля. Для цієї посади потрібен хтось, хто не лише володіє глибоким розумінням ландшафту інженерії даних, але також перебуває в авангарді своєї гри. Ідеальний кандидат зробить значний внесок у розвиток платформи, керуючи командою підрядників, одночасно активно формуючи майбутнє нашої екосистеми даних.

Обов’язки:

• Проектування та розробка основних компонентів платформи даних із архітектурою мікросервісів, платформою абстрагування та тонкощами інфраструктури.
• Створюйте та обслуговуйте основні пакети SDK і бібліотеки платформ даних, дотримуючись найкращих галузевих практик.
• Проектуйте та розробляйте фреймворки з’єднувачів і сучасні з’єднувачі для отримання даних із різних програм як локальних, так і хмарних.
• Розробляйте та оптимізуйте продуктивність зберігання, обробки та запитів для великомасштабних наборів даних, використовуючи найкращі галузеві практики.
• Розробляйте та розробляйте системи та процеси якості даних, щоб забезпечувати точність і надійність даних.
• Співпрацюйте з дослідниками даних, аналітиками та міжфункціональними командами для розробки моделей даних, схем баз даних і рішень для зберігання даних.
• Розробляйте та розробляйте розширену аналітику та можливості машинного навчання на платформі даних.
• Розробка та розробка систем і методів спостереження та управління даними.
• Будьте в курсі останніх тенденцій, технологій і найкращих методів розробки даних.
• Керуйте циклами розгортання та випуску, забезпечуючи надійну та масштабовану платформу.

Вимоги :

• 12+ підтвердженого досвіду сучасної хмарної інженерії даних, архітектур даних, сховищ даних та розробки програмного забезпечення .
• Досвід у розробці та розробці наскрізних платформ даних у середовищі GCP за допомогою BigQuery та інших служб, дотримуючись інструкцій із передового досвіду, таких як відкриті стандарти, вартість, продуктивність, час виходу на ринок і мінімізація блокування постачальника < /li>
• Солідний досвід створення платформ даних у середовищі GCP.
• Значний досвід проектування та розробки модульних компонентів розподіленої платформи даних із архітектурою мікросервісів. Потрібен великий досвід роботи з Docker, Kubernetes, API.
• Володіння інструментами та технологіями розробки даних — SQL, Python, Spark, DBT, Airflow, Kafka.
• Солідний досвід впровадження ліній даних, якість даних і можливість спостереження за робочими процесами великих даних.
• Значний досвід роботи з сучасним моделюванням даних, архітектурою даних і принципами керування даними.
• Чудовий досвід використання принципів DataOps і автоматизації тестування.
• Чудовий досвід роботи з інструментами спостереження — Grafana та Datadog.

Приємно мати :

• Досвід роботи з архітектурою Data Mesh.
• Досвід створення семантичних рівнів для платформ даних.
• Досвід створення масштабованих архітектур IoT.

Ми пропонуємо:

• Гнучкий графік та можливість віддаленої роботи (8 годинний робочий день).
• Привітний професійний персонал і тепла атмосфера.
• Середовище, де можна реалізувати свої ідеї.
• Оплачувані відпустки та лікарняні.
• Медичне страхування.
• Можливість працювати віддалено.
• Участь у освітніх заходах та тематичних конференціях.
• Командні вечірки та корпоративи.