Ведущий инженер данных в EPAM Systems

ОписаниеНаш клиент — американская компания, занимающаяся видеоиграми. Обязанности: Миграция текущих конвейеров данных и групп DAG из хранимых процедур GCP BigQuery в AWS Redshift. Выполнение необходимых обратных заполнений данных и проверка качества и целостности во время и после миграции. Проектирование, разработка и обслуживание конвейеров данных с использованием сервисов AWS, таких как Amazon. Redshift (или любое другое решение MPP), Amazon S3, dbt и Apache AirflowИспользуйте решения SQL и ETL/ELT для преобразования и загрузки данных из различных источников в хранилища данных и озера данныхОптимизируйте рабочие процессы и процессы обработки данных для обеспечения эффективности, масштабируемости и надежностиВнедрение автоматического обновления механизмы для поддержания конвейеров данных и систем в актуальном состоянии с учетом новейших данных. Сотрудничать с межфункциональными группами для понимания требований к данным и предоставления решений, отвечающих потребностям бизнеса. Мониторинг и устранение неполадок конвейеров данных для своевременного выявления и устранения проблем. предоставлять аналитическую информацию и рекомендации для принятия решений на основе данных. Требования: 5+ лет опыта работы в качестве инженера по данным. Продвинутый уровень SQL, PLSQL, TSQL для преобразования и оптимизации данных. Опыт написания кода ETL/ELT, управления и развертывания групп DAG с использованием DBT или Airflow. Практический опыт работы с AWS RedShift. , если вы не работали с аналогичными системами Cloud EDW. Уровень английского языка выше среднего, как устный, так и письменный (B2+). Приятно иметь Знакомство с Google Cloud Platform (GCP) и Google Cloud BigQuery для хранения и анализа данных. Знание инструментов миграции AWS для переноса данных. и рабочие нагрузки от Google Cloud Platform до AWS. Опыт работы с методами аналитики и оценки данных для оценки качества, целостности и удобства использования данных. Знание методологий и инструментов BI-тестирования для проверки отчетов и информационных панелей бизнес-аналитики. Опыт работы в области проектирования анализа данных с упором на создание масштабируемых и эффективных решений для обработки данных. Мы ПредложениеКонкурентное вознаграждение в зависимости от опыта и навыков. Индивидуальный карьерный путь. Неограниченный доступ к учебным решениям LinkedIn. Больничный и регулярный отпуск. Занятия английским языком с сертифицированными преподавателями английского языка. Гибкий график работы. Показать больше Показывай меньше Посадовый ровень Старший середний рівень Тип занятости Повний рабочий день Посадочные обвязки Информационные технологии Галузи ИТ-послуги и ИТ Консалтинг