Инженер по большим данным в RecruitGarden

Хотите изменить мир цифрового чтения? Присоединяйтесь к платформе с более чем 1 миллионом названий и 60 миллионами документов. Погрузитесь в проблемы масштабирования приложений, обработки данных в реальном времени и машинного обучения. Мы ищем инженера по большим данным, чтобы вместе добиться успеха. Удаленные + ТОП-условия — давайте обсудим? Обязанности: – управлять качеством и целостностью данных – помогать в создании инструментов и технологий, чтобы гарантировать, что последующие клиенты могут доверять данным, которые они потребляют – кросс-функциональная работа с Data Science или контентом Команды инженеров для устранения неполадок, обработки или оптимизации критически важных для бизнеса конвейеров — работайте с базовой платформой для реализации более эффективных задач обработки для масштабирования потребления наборов потоковых данных. Требования: — 3+ года опыта в области разработки данных, создания или комплексного управления. конвейеры данных для больших сложных наборов данных. – знание Spark – знание Scala и/или Python – свободное владение хотя бы одним диалектом SQL – уровень английского языка: Upper-IntermediateКак плюс – опыт работы с платформами потоковой передачи, обычно основанными на Kafka – опыт работы с Terraform, Airflow – хорошее понимание сервисов платформы данных AWS и их сильных и слабых сторон – большой опыт использования Jira, Slack, JetBrains IDE, Git, GitLab, GitHub, Docker, Jenkins – опыт использования DataBricksМы предлагаем: – высокое вознаграждение в зависимости от вашего технические навыки – долгосрочные проекты (12 млн+) с отличными Заказчиками – 5-дневная рабочая неделя, 8-часовой рабочий день, гибкий график – демократичный стиль управления и дружелюбная атмосфера – полная удаленность – ежегодный оплачиваемый отпуск — 20 б/дней + неоплачиваемый отпуск – оплачиваемые больничные — 6 дней в год – 12 национальных праздников – корпоративные льготы (внешнее обучение, курсы английского языка, корпоративные мероприятия/тимбилдинги) – профессиональный и личностный рост