Инженер по обработке данных @ AVENGA в AVENGA

Клиенту нужна помощь в создании инфраструктурной основы на Google Cloud Platform (GCP) и переносе существующего устаревшего озера данных в управляемое, масштабируемое и безопасное озеро данных в облаке, которое может предоставить возможности анализа данных, необходимые для удовлетворения его растущих потребностей. Клиенту нужна помощь в оценке, проектировании, планировании и переносе существующего локального или облачного озера данных в Google Big Query. Клиенту нужна помощь в создании инфраструктурной основы на Google Cloud Platform (GCP) и переносе существующего устаревшего озера данных в управляемое, масштабируемое и безопасное озеро данных в облаке, которое может предоставить возможности анализа данных, необходимые для удовлетворения его растущих потребностей. Клиенту нужна помощь в оценке, проектировании, планировании и переносе существующего локального или облачного озера данных в Google Big Query. ,[Оцените текущую систему, включая потоки, конвейеры данных, схемы и отчеты. , Сосредоточьтесь на следующих областях: , Ведущие практики управления данными, определения, руководящие принципы, процессы и рекомендации для продуктов, доступных в GCP: каталог данных, происхождение данных, качество данных, маскирование данных, классификация данных., Наборы данных и аналитическая инфраструктура, базы данных и прикладные технологии, Извлечение, преобразование и загрузка (ETL) или извлечение, загрузка и преобразование (ELT) рабочих нагрузок, Потребности в оркестрации и планировании заданий, План поставки инструментов (включая поддержку в конце срока службы), Планы непрерывной интеграции между приложениями, Бизнес-подразделения и другие команды, использующие решения для обработки данных. Техническое состояние «как есть» для областей, проанализированных выше. Желаемое будущее состояние для преобразования данных, озера данных или анализа данных.] Требования: Python, BigQuery, Dataflow, облачная платформа Google, инструменты Spark: . Дополнительно: Спортивный абонемент, Частное здравоохранение, Международные проекты, Бесплатный кофе, Без дресс-кода.