Ведущий инженер данных в EPAM Systems, Inc.

Описание ведущего инженера по обработке данных

Наш клиент — американская компания по производству видеоигр.

Обязанности

• Миграция текущих конвейеров данных и групп DAG из хранимых процедур GCP BigQuery в AWS Redshift
• Выполнение необходимых обратных заполнений данных и проверка качества и целостности во время и после миграции.
• Проектирование, разработка и обслуживание конвейеров данных с использованием сервисов AWS, таких как Amazon Redshift (или любое другое решение MPP), Amazon S3, dbt и Apache Airflow
• Используйте решения SQL и ETL/ELT для преобразования и загрузки данных из различных источников в хранилища данных и озера данных
• Оптимизируйте рабочие процессы и процессы обработки данных для обеспечения эффективности, масштабируемости, и надежность.
• Внедряйте механизмы автоматического обновления, чтобы поддерживать актуальность конвейеров и систем данных с учетом последних данных.
• Сотрудничайте с межфункциональными группами, чтобы понять требования к данным и предоставлять решения, которые удовлетворять потребности бизнеса
• Отслеживать и устранять неполадки в конвейерах данных для своевременного выявления и устранения проблем
• Выполнять оценку и анализ данных, чтобы предоставлять ценную информацию и рекомендации для принятия решений на основе данных
• li>

Требования

• Опыт работы инженером по данным от 5 лет
• Знание SQL, PLSQL, TSQL для преобразования и оптимизации данных
>
• Опыт написания кода ETL/ELT, управления и развертывания групп DAG с использованием DBT или Airflow
• Практический опыт работы с AWS RedShift, если нет, работали ли вы с аналогичными системами Cloud EDW
• Уровень английского языка как устный, так и письменный (B2+) выше среднего.

Приятно

• Знание Google Cloud Platform (GCP) и Google Cloud BigQuery для хранения и аналитики данных.
• Знание инструментов миграции AWS для переноса данных и рабочих нагрузок с Google Cloud Platform на AWS.
• Опыт работы с методами аналитики и оценки данных для оценки качества данных. целостность и удобство использования
• Владение методологиями и инструментами BI-тестирования для проверки отчетов и информационных панелей бизнес-аналитики
• Опыт работы в области инженерного анализа данных с упором на создание масштабируемых и эффективных решений для обработки данных
>

Мы предлагаем

• Работу по гибкому графику удаленно или из любого нашего комфортабельного офиса или коворкинга в Украине
• Получить необходимое оборудование для выполнять свои рабочие задачи
• Менять проекты и стеки технологий внутри EPAM
• Приобретать опыт в различных сферах бизнеса (страхование, электронная коммерция, здравоохранение, финансы, путешествия, СМИ, искусственный интеллект и подробнее)
• Рассмотрите варианты переезда в более чем 30 стран мира.
• Участвуйте в волонтерских, благотворительных программах и сообществах (как технических, так и по интересам).
• Вы можете планировать свой индивидуальный карьерный путь вместе со своим руководителем
• Регулярно получайте обратную связь от коллег
• Совершенствуйте свой английский бесплатно с помощью сертифицированных преподавателей (разговорные клубы, курсы подготовки к собеседованию с клиентами и т. д.)
• Получите возможность пройти бесплатное обучение и сертификацию по AWS, GCP или Azure C.громкость
• Используйте внутреннюю программу обучения E-learn (более 18 200 специализированных программ обучения и наставничества)
• Получите доступ к корпоративным учетным записям в LinkedIn Learning, Get Abstract и других партнерских ресурсах
• li> Обучайтесь в Школе архитектуры решений EPAM с преподавателями-практикующими архитекторами
• Развивайтесь как лидер, присоединяйтесь к школам Delivery Management, Resource Management, Leadership Essentials и другим
• Участвуйте во внутренних сообществах (ежегодно более 500 митапов, технических дискуссий, мозговых штурмов, онлайн-мероприятий и конференций)
• Отпуск и больничный (в том числе больничный без медицинской справки)
• Широкий спектр добровольных Программы медицинского страхования, предусматривающие как лечение, так и различные профилактические мероприятия (в том числе занятия спортом)
• Медицинское страхование членов семьи по корпоративным тарифам
• Сопровождение компании в значимые жизненные события (рождение или усыновление, бракосочетание) и т.д.)
• Поддержка психологического комфорта: скидки на услуги психиатров или тренеров, тематические тренинги.
• Программа E-kids – бесплатная программа обучения языку программирования для детей EPAMеров.

EPAM стремится предоставить своей глобальной команде, насчитывающей более 52 800+ специалистов в более чем 55 странах, возможности для профессионального роста с первого дня сотрудничества. Наши коллеги — источник успеха EPAM, поэтому мы ценим сотрудничество, стремимся всегда понимать бизнес наших клиентов и стремимся к самым высоким стандартам качества. Независимо от того, где вы находитесь, вы присоединитесь к преданному своему делу разнообразному сообществу, которое поможет вам в полной мере реализовать свой потенциал.