Инженер по большим данным в KITRUM

Мы знаем людей. Кто мы? KITRUM — это универсальная компания по разработке программного обеспечения на заказ со штаб-квартирой в солнечной Флориде и центрами разработки в Украине, Казахстане, Израиле и Польше. Обладая более чем 300 первоклассными инженерными ресурсами, мы помогаем руководителям стартапов, поддерживаемых венчурным капиталом, и быстрорастущих технологических компаний в США, ЕС и Австралии создавать индивидуальные команды разработчиков программного обеспечения, укомплектованные талантливыми специалистами высшего уровня. Мы понимаем, что одно из самых важных вещей для разработчиков — адекватный клиент и интересные проекты. Поэтому мы квалифицируем наших клиентов, чтобы убедиться, что они: — имеют идею, которая, по их мнению, сделает мир лучше; — мыслить долгосрочно и искать надежного технологического партнера; — хотите полагаться на микроменеджмент и избегать его; — не чертовы придурки :-) Следите за нашей командой в Instagram, чтобы узнать больше о нашей повседневной жизни instagram.com/kitrum.team :) Мы обожаем заводить новых друзей на доске! Роль Ваши обязанности будут включать в себя: Управление качеством и целостностью данных. Помощь в создании инструментов и технологий, позволяющих гарантировать, что последующие клиенты могут доверять данным, которые они потребляют. Межфункциональную работу с командами по науке о данных или разработке контента для устранения неполадок, обработки или оптимизации критически важных для бизнеса данных. конвейеры Работайте с базовой платформой для реализации более эффективных задач обработки для масштабирования потребления наборов потоковых данных. Идеальный профиль Более 5 лет опыта в области разработки данных, создания или управления сквозными конвейерами данных для больших сложных наборов данных. Опыт разработки масштабируемого программного обеспечения с использованием технологий больших данных (например, Hadoop, Spark, Hive, Flink, Samza, Storm, Elasticsearch, Druid, Cassandra и т. д.). Знание языка Scala. Свободное владение хотя бы одним диалектом SQL. Уровень английского языка: выше среднего. Опыт работы с платформами потоковой передачи, обычно на основе Kafka. Хорошее понимание сервисов платформы данных AWS, их сильных и слабых сторон. Большой опыт использования Jira, Slack, JetBrains IDE, Git, GitLab, GitHub, Docker, Jenkins, Terraform Опыт использования DataBricks Что предлагается? Работа в компании с солидным опытом работы. Гибкие возможности работы. Отличные условия труда. Высокая оплата в соответствии с вашими техническими навыками. Демократичный стиль управления и дружелюбная атмосфера. Профессиональный и личностный рост.