Старший инженер по большим данным в Brainence

Старший инженер по большим данным опубликовано О нас Brainence — компания по разработке программного обеспечения с более чем 7-летним опытом создания мощных продуктов и масштабирования команд разработчиков. Мы сотрудничаем с более чем 50 стартапами и предприятиями, помогая им создавать MVP, расширять свои инженерные команды и успешно запускать свои продукты. Наш опыт охватывает такие отрасли, как здравоохранение, образовательные технологии, недвижимость, розничная торговля, строительство, логистика, страхование и многие другие. О проекте Brainence в настоящее время ищет старшего инженера по большим данным в нашу команду. Вы будете работать над единственной SaaS-платформой для туристической рекламы, которая объединяет медиапланирование и закупки. Его технология автоматизации путешествий оптимизирует процессы планирования и покупки, а также предоставляет аналитическую информацию в режиме реального времени, создавая единое решение для цифровой рекламы и оптимизируя рекламные бюджеты. Обязанности ● Проектирование, разработка и поддержка крупномасштабных решений по обработке данных с использованием Apache Spark и Scala. ● Разработка конвейеров ETL для обработки, очистки и преобразования данных из различных источников. ● Оптимизация заданий Spark для повышения производительности и масштабируемости. ● Разработка и поддержка API-интерфейсов для облегчения доступа к данным и интеграция ● Обеспечение точности, согласованности и полноты данных на протяжении всего конвейера данных ● Сотрудничество с учеными, аналитиками и другими межфункциональными командами для понимания требований к данным и предоставления высококачественных решений. Требования ● Опыт программирования Scala и разработки Spark более 5 лет. ● Хорошее понимание архитектуры и внутреннего устройства Spark. ● Опыт работы с технологиями распределенных вычислений (например, Hadoop, Hive, Kafka). ● Опыт работы с технологиями баз данных и SQL. ● Опыт разработки и использования API. ● Глубокое понимание систем мониторинга, оповещения и регистрации данных. Подробности работы ● Долгосрочный проект: 1 год и более ● Испытательный срок: да, пересматривается через три месяца ● Удаленная работа: да, с возможностью выезда во Львове ● График работы: полный рабочий день с гибким графиком ● Заработная плата: выплачивается до 10-го числа каждого месяца в долларах США Мы предлагаем ● 18 оплачиваемых дней отпуска ● 10 оплачиваемых больничных ● 2 неоплачиваемых выходных в месяц ● Гибкий график с возможностью удаленной работы по всему миру ● Комфортабельное офисное помещение с парковкой и выездным массажистом всего в 5 минутах от центра Львова ● Необходимое оборудование или компенсация за оборудование в размере 200 долларов США в год. ● Бухгалтерские услуги ● Дисконтная карта Lviv ITCluster