Средний инженер данных в Veli Technologies Ltd.

VeliTech — это продуктовая компания, в которой каждый увлечен технологиями и стремится быть на шаг впереди. Наша команда основана на глубоком понимании передовых фреймворков, технологий и непрерывном обучении. Эта комбинация принесла нам успех: наши продукты iGaming обслужили более 35 миллионов пользователей, прорывной Tech Radar и команду из более чем 200 ярких умов, которые сделали это возможным. И эта команда готова приветствовать вас в мире возможностей для роста и расширения вашего опыта. Если это вас заинтересовало, не ищите дальше — это идеальная возможность для вас! Приглашаем Middle Data Engineer присоединиться к команде продуктов VeliHorizon. Horizon — это платформа на основе микросервисов, управляемая API, которая выводит онлайн-казино, ставки на спорт и многое другое на новый уровень. Наша передовая технология интегрируется с ведущими игровыми провайдерами, создавая высокозащищенную и соответствующую требованиям игровую среду, предназначенную для удовлетворения всех потребностей клиентов. Технический стек: Scala 2/3, Typed Akka, ZIO, PostgreSQL, Elasticsearch, Clickhouse, K8s, Kafka, gRPC, AWS. В этой роли вы будете: Архитировать, проектировать и реализовывать конвейеры ETL для нескольких источников данных, принимающих огромные объемы данных. ежедневно Разрабатывать и поддерживать новые проекты и инструменты для хранилища данных. Оптимизировать, улучшать и реорганизовывать текущие приложения, если это будет сочтено целесообразным. Сотрудничать с разработчиками программного обеспечения для сбора, форматирования и подготовки данных для различных целей. Разрабатывать и поддерживать API-интерфейсы, необходимые для доступа к данным. Навыки. и опыт, который вам понадобится: Не менее 3+ лет опыта работы в качестве специалиста по инженерии данных с SQL и RDBMS, предпочтительно PostgreSQL. Профессиональный опыт использования Python для целей обработки данных, разработки серверных микросервисов, RESTful API. Опыт работы с Kubernetes. Сильные навыки обработки/обработки данных. Опыт понимания. Принципы построения хранилищ данных Практический опыт проектирования конвейеров данных ETL, ELT, предоставление обработанных данных конечным пользователям Будет большим плюсом: Опыт работы с Airflow, т.е. создание групп DAG, проектирование и мониторинг конвейеров данных Опыт работы с потоковой передачей данных в режиме реального времени Хранилища данных, в основном интересуются Apache Kafka, Spark или аналогичными. Знакомы с CI/CD с использованием конвейеров Jenkins или аналогичных инструментов. Инструменты/процессы синхронизации данных между разнородными источниками данных (SQL, NoSQL, DMS, Clickhouse, BigQuery, ElasticSearch и т. д.). Степень в области науки о данных. , статистика, прикладная математика, эконометрика, информатика или другие смежные области. Мы предлагаем: Здравоохранение Медицинскую страховку - полное покрытие Оплачиваемые больничные дни - 10 дней Программа благополучия Заслуженный отдых Оплачиваемый отпуск - 20 дней Возможность работы из любого места Домашний офис Комбинируйте оба варианта так, как вы хотите. Обучение и развитие. Возможность посещать конференции и профессиональные мероприятия. Внутренние образовательные программы. Образ жизни. Мышление продукта. Инженерная культура в нашей ДНК. Т-образная модель набора навыков.