Провідний інженер з програмного забезпечення даних в EPAM Systems

Наш клієнт, всесвітньо відома багатонаціональна технологічна компанія, розташована в Каліфорнії та входить у Велику п’ятірку технологічних компаній, розширює партнерство з EPAM.Спеціалізація клієнта:побутова електронікапрограмне забезпеченняонлайн-послугиВи працюватимете з експертами та технологіями світового рівня з самого серця Кремнієвої долини, займаючись розробкою продуктів та послуг, якими щодня користуються мільярди людей.Ми шукаємо досвідченого Lead Software Data Engineer для поповнення нашої командиНавички5+ років практичного досвіду роботи із Big Data: Hadoop (HDFS, YARN або Mesos), SparkЗнання та практичний досвід застосування SQL у контексті роботи із Big Data: Spark SQL, Hive QLЗнання SparkОптимізація планів виконання Spark за допомогою Spark UIХороше знання Scala, включаючи фунціональні бібліотеки Scala (Cats)Знання основ пакетної обробки та принципів ETL у сховищах данихДосвід з оркестрацією даних та знання умов повноти данихДосвід з дата клінзінгом (обробка пошкоджених, некоректних та дубльованих даних)Знання міграції схем та еволюції наборів данихВолодіння усною та письмовою англійською мовою не нижче рівня B2Уміння швидко навчатись та вивчати новий набір інструментів і технологій, що використовуються на проєкті: сервісні платформи, постачальники телеметрії, Spark-as-a-Service, система збору та багато іншогоОбов'язкиРозробка дата пайплайнів, задач для створення нових вихідних датасетів в рамках розробки нового функціоналуАдаптація існуючих дата пайплайнів для інтеграції з різноманітними платформами, інструментами та сервісамиПравка помилок в коді та даних, які були згенеровані через неправильну логіку або реалізаціюШвидкий аналіз та дослідження даних для допомоги продакт менеджмент командіЗдійснення моніторингу і усунення виробничих проблем з наявними дата пайплайнамиРозробка та впровадження якісних перевірок даних (контроль якості)Планування обсягу нових розробок: оцінювання необхідних ресурсів, планування часових рамок виконання завданьПідтримка чіткості процесів з обробки тікетівПокращувати завдання, додатки та систему, якою ми керуємо, у всіх аспектах: якість коду, складність, обслуговування, документаціяКомунікувати з іншими інженерами з обробки даних у команді, колегами та керівниками проєктів щодо статусу, проблем, оцінок, часових рамок тощоБуде перевагоюРозуміння ідей і принципів функціонального програмуванняДосвід написання та використання веб-сервісівДосвід роботи з Teradata, Vertica, Oracle або TableauДосвід роботи зі Spark Streaming і KafkaДосвід роботи або знання наступних технологій: Apache Iceberg, Trino (Presto), Druid, Cassandra, Blob-сховища, наприклад AWSДосвід роботи зі SplunkЗнання або досвід роботи з Azkaban або AirflowЗ нами ти можешПрацювати за гнучким графіком віддалено або у будь-якому з наших комфортних офісів чи коворкінгів в УкраїніОтримати необхідне обладнання для виконання робочих завданьЗмінювати проєкти та стек технологій всередині EPAMОтримувати досвід у різних бізнес-доменах (Insurance, E-commerce, Healthcare, Finance, Travelling, Media, Artificial Intelligence та інші)Розглянути варіанти для релокації у понад 30 країн світуДолучатися до волонтерських, благодійних програм та спільнот (як затехнічними напрямами, так і за інтересами)Ми допоможемо тобі у професійному розвиткуСплануй свій індивідуальний кар’єрний шлях разом із менеджеромОтримуй регулярний зворотній зв’язок від колегБезкоштовно вдосконалюй англійську мову з сертифікованими викладачами (Speaking Clubs, курси з підготовки до клієнтських інтерв’ю тощо)Отримай можливість безкоштовно пройти навчання та сертифікацію з AWS, GCP або Azure CloudsКористуйся внутрішньою навчальною програмою E-learn (18,200+ спеціалізованих тренінгів та менторинг-програм)Отримай доступ до корпоративних акаунтів на LinkedIn Learning, Get Abstract та інших партнерських ресурсівНавчайся у Solution Architecture School з практикуючими архітекторами в ролі викладачівРозвивайся як лідер, приєднайся до Delivery Management, Resource Management, Leadership Essentials school та іншихПриймай учать у внутрішніх спільнотах (500+ зустрічей, технічних обговорень, сесій мозкового штурму, онлайн-заходів і конференцій щороку)Що ми пропонуємоВідпустку та лікарняні дні (в тому числі без медичної довідки)Широку лінійку страхових програм Добровільного Медичного Страхування (ДМС) із забезпеченням як медичного лікувавання, так і різних профілактичних опцій (включно із спортивними активностями)Оформлення медичного страхування для членів родини за корпоративними тарифамиПідтримку від компанії під час знакових життєвих подій (народження або всиновлення дитини, шлюб та інше)Підтримку психологічного комфорту: знижки на послуги спеціалістів з ментального здоров'я або коучів, тематичні тренінгиE-kids - безкоштовну програму навчання для дітей EPAM-ерів мовам програмуванняПриємні корпоративні подарункиПро EPAMЕРАМ прагне надавати своїй глобальній команді з понад 60,000+ професіоналів у більш ніж 45 країнах можливості для професійного зростання з першого дня співпраці. Наші колеги – джерело успіху ЕРАМ, тож ми цінуємо співпрацю, намагаємось завжди розуміти бізнес наших клієнтів та прагнемо до найвищих стандартів якості. Незалежно від місця, де ви знаходитесь, ви долучитесь до відданої, розмаїтої спільноти, яка допоможе вам реалізувати свій потенціал якомога повніше Show more Show less Посадовий рівень Старший середній рівень Тип зайнятості Повний робочий день Посадові обов’язки Інженерія і Інформаційні технології Галузі ІТ-послуги та ІТ Консалтинг