Инженер данных в ITRex Group

Data Engineer Киев, Варшава (Польша), Виддалено Об ITRex Мы являемся глобальной ИТ-консалтинговой и девелоперской компанией с подходом WeCare, стремящейся придать импульс цифровой трансформации наших клиентов. Наша команда, насчитывающая более 230 человек, объединяет креативных и талантливых многофункциональных экспертов, которые стремятся к успеху каждого проекта. Мы предоставили сотни революционных решений гигантам из списка Fortune 500, компаниям среднего бизнеса и стартапам и гордимся тем, что являемся частью истории успеха таких мировых лидеров, как TASC, Procter & Gamble, Dun & Bradstreet, Turvo, Universal Electronics, Shutterstock, Dollar Shave Club или JibJab. Мы ценим инициативу, открытое общение и целеустремленность, а не уступчивость и галочку, и ищем единомышленников, которые разделяют нашу страсть к совместному созданию великих новых дел. Присоединяйтесь к нашей дружной команде asaData Engineer! Наши ожидания Требуемый опыт создания конвейеров для обработки больших объемов данных: более 4 лет. Знание Python (ООП, работа с API, обработка данных) и SQL. Опыт работы со Spark и структурированной потоковой передачей Spark (Databricks). Опыт работы с AWS и облачными вычислениями (EC2, S3, Athena, Redshift) Опыт автоматизации CI-CD (GitHub Actions, Jenkins или аналогичные) Понимание форматов больших данных: parquet, avro, delta Понимание архитектуры озера данных Опыт работы с Kafka или RabbitMQ Опыт работы с межфункциональными командами и бизнес-клиентами Сильное чувство собственности и проактивный подход к решению проблем. Отличные устные и письменные навыки английского языка для работы в международной команде. Приятно иметь базовые навыки разработки Java. Опыт работы с Airflow (или аналогичным инструментом оркестрации). Ваши обязанности. Разработка и поддержка масштабируемых конвейеров данных. Сбор требований, объема, архитектуры, разработки, сборки, выпуска. и поддерживать проекты, ориентированные на данные, для различных частей организации, сохраняя при этом производительность, стабильность и безошибочную работу. Выявлять и решать проблемы конвейера и определять возможности для улучшения. Разрабатывать масштабируемые и надежные решения для обработки данных для перемещения данных между системами из нескольких продуктов практически в реальном времени. Помогите оценить новые инструменты и технологии, чтобы поддерживать стек технологий на переднем крае. Помогите отладить критические проблемы в сложных проектах или схемах кодирования. Отслеживайте существующие показатели, анализируйте данные и сотрудничайте с другими внутренними командами для решения сложных проблем, улучшая качество обслуживания клиентов. Создавать и поддерживать архитектурную и системную документацию. Что мы предлагаем Ощущение общности и дружбы, разнообразия и инклюзивности. Неформальная рабочая среда с короткими цепочками принятия решений. Гибкий график работы и возможности удаленной работы. Налаженные процессы личного развития. Поддержка профессионального обучения и сертификации. Регулярные мероприятия компании (ITRexTalks, сессии вопросов и ответов с генеральным директором, технические встречи). ) Социальные льготы (медицинская страховка, спортивные выплаты и бесплатные уроки английского языка)