Старший инженер данных в EPAM Systems, Inc.

Описание старшего инженера по обработке данных

Мы ищем опытного старшего инженера по обработке данных в нашу команду.

Проект предполагает разработку и оптимизацию новой платформы данных для настройки нашей текущей системы обработки данных. Старший инженер по данным будет отвечать за проектирование, внедрение и обслуживание платформы для удовлетворения потребностей бизнеса в данных.

Удаленная опция распространяется только на Кандидатов, которые будут работать из любой точки Украины.

Обязанности

• Разработка конвейеров обработки данных с использованием фабрики данных Azure и функций Azure
• Реализуйте процессы приема и преобразования данных с помощью Databricks и PySpark
• Напишите эффективный код на Python и SQL для извлечения, преобразования и загрузки данных
• Сотрудничайте с заинтересованными сторонами для сбора требований и обеспечить соответствие платформы потребностям бизнеса
• Отслеживать и устранять неполадки в работе платформы и устранять любые проблемы
• Внедрять меры по обеспечению качества данных и совершенствовать процессы
• Оптимизировать хранение и извлечение данных
• Проводить анализ данных и получать ценную информацию для принятия решений
• Обучать и наставлять младших инженеров по обработке данных
• Участвовать в коллегиальных проверках кода и совместной командной деятельности
• li>

Требования

• 3+ года практического опыта работы в области больших данных и опыт разработки программного обеспечения для данных
• Хорошие знания и опыт с фабрикой данных Azure, функциями Azure и блоками данных.
• Знание PySpark, Python и SQL.
• Понимание пакетной обработки и принципов ETL в хранилищах данных.
• Опыт работы. с сигналами полноты данных и оркестрацией
• Знание миграции схем и эволюции наборов данных
• Знакомство с подходами к исторической повторной обработке и коррекции данных
• Хорошие навыки решения проблем и коммуникативные навыки
• Знание английского языка на уровне B2+, хорошее знание английского языка

Приятно

• Знакомство с Microsoft Power BI
>
• Компетенция в области хранилища BLOB-объектов Azure, хранилища файлов Azure

Мы предлагаем

• Работу по гибкому графику удаленно или из любого нашего комфортабельного офиса или коворкинги в Украине
• Получите необходимое оборудование для выполнения своих рабочих задач
• Меняйте проекты и стеки технологий внутри EPAM
• Получите опыт в различных сферах бизнеса (Страхование, Электронная коммерция, здравоохранение, финансы, путешествия, средства массовой информации, искусственный интеллект и т. д.)
• Рассмотрите варианты переезда в более чем 30 стран мира.
• Участвуйте в волонтерских, благотворительных программах и сообществах (как технические и основанные на интересах)
• Вы можете планировать свой индивидуальный карьерный путь вместе со своим руководителем
• Получать регулярную обратную связь от коллег
• Совершенствуйте свой английский бесплатно с сертифицированными преподаватели (Разговорные клубы, курсы подготовки к собеседованию с клиентами и т. д.))
• Получите возможность пройти бесплатное обучение и сертификацию по AWS, GCP или Azure Clouds.
• Воспользуйтесь внутренней программой электронного обучения (более 18 200 специализированных программ обучения и наставничества)< /li>
• Доступ к корпоративным аккаунтам на LinkedIn Learning, Get Abstract и других партнерских ресурсах
• Обучение в Школе архитектуры решений EPAM с преподавателями-практиками-архитекторами
• Развивайтесь как лидер , присоединяйтесь к школе «Управление доставкой», «Управление ресурсами», «Основы лидерства» и многим другим.
• Участвуйте во внутренних сообществах (ежегодно более 500 встреч, технических дискуссий, мозговых штурмов, онлайн-мероприятий и конференций).
• Отпуск и больничный (в том числе больничный без медицинской справки)
• Широкий спектр программ ДМС, предусматривающих как лечение, так и различные профилактические мероприятия (в том числе занятия спортом)
• Медицинское страхование для членов семьи по корпоративным тарифам
• Поддержка компании во время значимых жизненных событий (рождение или усыновление, бракосочетание и т.д.)
• Поддержка психологического комфорта: скидки на услуги специалистов по психическому здоровью или тренеров, тематическое обучение
• Программа E-kids — бесплатная программа обучения языку программирования для детей пользователей EPAM

EPAM стремится предоставить свою глобальную команду, насчитывающую более 52 800+ специалистов, в более чем 55 стран с возможностями профессионального роста с первого дня сотрудничества. Наши коллеги — источник успеха EPAM, поэтому мы ценим сотрудничество, стремимся всегда понимать бизнес наших клиентов и стремимся к самым высоким стандартам качества. Независимо от того, где вы находитесь, вы присоединитесь к преданному своему делу разнообразному сообществу, которое поможет вам в полной мере реализовать свой потенциал.