Ведущий инженер-программист данных в EPAM Systems

Наш клиент, всемирно известная многонациональная технологическая компания, расположенная в Калифорнии и входит в Большую пятерку технологических компаний, расширяет партнерство с EPAM. Специализация клиента: бытовая электроника программное обеспечение онлайн-услуги Вы будете работать с экспертами и технологиями мирового уровня из самого сердца продуктов и услуг, которыми ежедневно пользуются миллиарды людей. : Spark SQL, Hive QLЗнание SparkОптимизация планов выполнения Spark с помощью Spark UIХорошее знание Scala, включая функциональные библиотеки Scala (Cats)Знание основ пакетной обработки и принципов ETL в хранилищах данныхОпыт с оркестрацией данных и знание условий полноты данныхОпыт с дата и дублированных данных)Знание миграции схем и эволюции наборов данныхВладение устным и письменным английским языком не ниже уровня B2Умение быстро учиться и изучать новый набор инструментов и технологий, используемых на проекте: сервисные платформы, поставщики телеметрии, Spark-as-a-Service, система сбора и многое другоеОбязанностиРазработка дата пайплайнов, задач для создания новых выходных датасетов в рамках разработки нового функционалаАдаптация существующих дата пайплайнов для интеграции с разнообразными платформами, инструментами и сервисамиПравка ошибок в коде и данных, которые были сгенерированы из-за неправильной логики или реализации для помощи продакт менеджмент команде Осуществление мониторинга и устранение производственных проблем с имеющимися дата пайплайнами Разработка и внедрение качественных проверок данных (контроль качества) Планирование объема новых разработок: оценка необходимых ресурсов, планирование временных рамок выполнения задач управляем, во всех аспектах: качество кода, сложность, обслуживание, документацияКоммуниковать с другими инженерами по обработке данных в команде, коллегами и руководителями проектов по статусу, проблемам, оценкам, временным рамкам и т.п. из Teradata, Vertica, Oracle или TableauОпыт работы со Spark Streaming и KafkaОпыт работы или знание следующих технологий: Apache Iceberg, Trino (Presto), Druid, Cassandra, Blob-хранилища, например AWSОпыт работы со SplunkЗнания или опыт работы с Azkaban или AirflowС нами можешьРаботать по гибкому графику удаленно или в любом из наших комфортных офисов или коворкингов в УкраинеПолучить необходимое оборудование для выполнения рабочих задачИзменять проекты и стек технологий внутри EPAMПолучать опыт в различных бизнес-доменах (Insurance, E-commerce, Healthcare, Finance, Travelling, Media , Artificial Intelligence и другие)Рассмотреть варианты для релокации более чем в 30 странах мираПрисоединяться к волонтерским, благотворительным программам и сообществам (кактехническими направлениями, так и по интересам) Мы поможем тебе в профессиональном развитии Спланируй свой индивидуальный карьерный путь вместе с менеджером Получай регулярную обратную связь от коллег Получи возможность бесплатно пройти обучение и сертификацию с AWS, GCP или Azure Clouds Пользуйся внутренней учебной программой E-learn (18,200+ специализированных тренингов и менторинг-программ) практикующими архитекторами в роли преподавателей Развивайся как лидер, присоединяйся к Delivery Management, Resource Management, Leadership Essentials school и других (в том числе без медицинской справки) Широкую линейку страховых программ Добровольного Медицинского Страхования (ДМС) с обеспечением как медицинского лечения, так и различных профилактических опций (включая спортивные активности) Оформление медицинского страхования для членов семьи по корпоративным тарифам Поддержку от компании во время знаковых жизненных событий (рождение или усыновление ребенка, брак и прочее) Поддержку психологического комфорта: скидки на услуги специалистов по ментальному здоровью или коучам, тематические тренинги E-kids - бесплатная программа обучения для детей EPAM-эров языкам программирования Приятные корпоративные подарки с более чем 60,000+ профессионалов в более чем 45 странах возможности для профессионального роста с первого дня сотрудничества. Наши коллеги – источник успеха ЕРАМ, поэтому мы ценим сотрудничество, стараемся всегда понимать бизнес наших клиентов и стремимся к самым высоким стандартам качества. Независимо от места, где вы находитесь, вы присоединитесь к преданному, разнообразному сообществу, которое поможет вам реализовать свой потенциал как можно полнее Show more Show less Должностный уровень Старший средний уровень Тип занятости Полный рабочий день Должностные обязанности Инженерия и информационные технологии Отрасли ИТ-услуги и ИТ Консалтинг