Старший инженер данных в Impressit

Старший инженер по данным Impressit ищет старшего инженера по данным, который присоединится к команде AI/ML, работающей над полностью автономной торговой платформой AI. Чего мы ожидаем? — Знание Python для разработки программного обеспечения. — Опыт работы с базами данных SQL и NoSQL. —Знакомство с методами управления данными, такими как MapReduce, секционирование и Spark. — Опыт работы с инструментами приема данных, такими как Kafka, Flume или Sqoop. —Знание MapReduce для распределенной обработки данных. — Понимание методов секционирования баз данных. —Опыт работы с Apache Spark для крупномасштабной обработки данных. —Знакомство с Feature Store для управления функциями машинного обучения. —Опыт обеспечения инженерной воспроизводимости конвейеров данных. — Умение писать и выполнять модульные тесты. —Опыт обработки ошибок для обеспечения отказоустойчивости и надежности торговых систем. — Владение прямыми ациклическими графами (DAG) с использованием Airflow или Prefect для оркестрации рабочих процессов. —Знакомство с MLFlow для управления экспериментами по машинному обучению. — Знание Docker для контейнеризации. —Опыт работы с сервисами AWS, такими как S3 и Lambda, для развертывания в облаке. — Уровень английского языка Upper-Intermediate или выше. - Степень бакалавра или выше, желательно в области разработки программного обеспечения или смежных областях. Что вы будете делать? – основное внимание уделяется операциям с данными, начиная с приема и заканчивая развертыванием. — Поддерживать и расширять торговые каналы. — Объедините различные источники данных через API или очистите их в отдельный источник истины. —Разработать хранилище функций и автоматизировать очистку, обработку, проектирование и мониторинг отклонений функций. — Разработайте происхождение данных для каждой функции, а также обеспечьте целостность функций с помощью методов снятия отпечатков пальцев. — Работайте с пакетными и потоковыми данными и уменьшайте аномалии в данных или пробелы в различных источниках финансовых данных. —Создавайте, обслуживайте и улучшайте конвейеры данных с использованием платформ DataOps, MLOps и AIOps. —Работа с полным набором данных и инфраструктурой моделей, а также интеграцией, например, SageMaker Studio. А как насчет наших преимуществ?—Большой отпуск: 24 дня в году; —бюджет профессионального образования и обучения; — Полная компенсация налогов; —WOW тимбилдинговые мероприятия; —Офис в центре Львова; — Оплачиваемые больничные; Мы ждем вас, чтобы присоединиться к нашей команде WOW!