Средний инженер по большим данным в KITRUM

— 3-4 года опыта работы в области разработки данных, создания или управления сквозными конвейерами данных для больших и сложных наборов данных. — Опыт разработки масштабируемого программного обеспечения с использованием технологий больших данных (например, Hadoop, Spark, Hive, Flink, Samza, Storm, Elasticsearch). , Druid, Cassandra и т. д.) — Знание Scala — Свободное владение хотя бы одним диалектом SQL — Уровень английского языка: выше среднегоКак плюс — Опыт работы с платформами потоковой передачи, обычно основанными на Kafka — Хорошее понимание сервисов платформы данных AWS и их сильные и слабые стороны — Большой опыт использования Jira, Slack, JetBrains IDE, Git, GitLab, GitHub, Docker, Jenkins, Terraform — Опыт использования DataBricks Client — американской службы подписки на электронные книги и аудиокниги, включающей один миллион наименований. Платформа размещает 60 миллионов документов на своей открытой издательской платформе. Платформа позволяет: — каждому делиться своими идеями с миром; — доступ к аудиокнигам; — доступ к композиторам со всего мира, которые публикуют свою музыку; — включает статьи от частных издателей и мировые журналы; — обеспечивает доступ к эксклюзивному контенту. Базовая платформа предоставляет надежное и базовое программное обеспечение, повышающее эффективность работы для масштабирования приложений и данных. Мы сосредоточены на создании, тестировании, развертывании приложений и инфраструктуры, которые помогут другим командам быстро масштабироваться, взаимодействовать, интегрироваться с данными в реальном времени и включать машинное обучение в свои продукты. Работая с нашими клиентами в отделах обработки данных и разработки контента, а также с нашими коллегами из групп внутренних инструментов и инфраструктуры, мы привносим в наши проекты прозрачность и фокус на системном уровне. Целью клиента является не полное архитектурное или дизайнерское совершенство, а, скорее, выбор подходящего специалиста. предлагает найти баланс между скоростью, качеством и стоимостью. ,[ Управление качеством и целостностью данных. Помощь в создании инструментов и технологий, гарантирующих, что последующие клиенты могут доверять данным, которые они потребляют. Межфункциональная работа с командами по науке о данных или разработке контента для устранения неполадок, обработки или оптимизации бизнеса. -критические конвейеры, работа с основной платформой для реализации более эффективных задач обработки для масштабирования потребления наборов потоковых данных] Требования: Scala, большие данные, Hadoop, Spark, SQL Дополнительно: небольшие команды, международные проекты, обучение Masterclazz, уроки английского языка, дружелюбная атмосфера .