Старший инженер данных в Dataforest

Ищем старшего инженера по обработке данных в команду Dataforest. Если вы ищете дружный коллектив, здоровую рабочую атмосферу и гибкий график ‒ вы нашли правильное место для отправки резюме. Требования к навыкам: • Опыт работы с Python от 4 лет; • Опыт работы в качестве инженера-разработчика от 3 лет. Инженер по обработке данных; • Знание алгоритмов и структур данных ОБЯЗАТЕЛЬНО; • Отличный опыт работы с Pandas; • Отличный опыт работы с базами данных SQL / NoSQL (Redis, Mongo, Elasticsearch) / BigQuery; • Опыт работы с Apache Kafka, Apache Spark (pyspark); • Опыт работы с Hadoop; • Знакомство с веб-службами Amazon; • Понимание основ кластерных вычислений; • Работа с таблицами большого объема (более 100 м). Дополнительные навыки (как плюс): • Опыт планирования и мониторинга (Databricks, Prometheus, Grafana); Опыт работы с Airflow;• Опыт работы со Snowflake, Terraform;• Опыт работы в статистике;• Знание DS и алгоритмов машинного обучения. Основные обязанности:• Создание ETL-конвейеров и решений по управлению данными (API, логика интеграции);• Разработка различных алгоритмов обработки данных; • Участие в создании моделей прогнозирования, рекомендаций и классификации; • Разработка и внедрение рабочих процессов для получения и преобразования новых источников данных для использования в компании; • Развитие существующей инфраструктуры Data Engineering, чтобы сделать ее масштабируемой и подготовить ее к ожидаемым прогнозируемым будущим объемам. ;• Определить, спроектировать и внедрить улучшения процессов (т.е. автоматизация ручных процессов, редизайн инфраструктуры и т. д.). Мы предлагаем: • Большие возможности взаимодействия с международными клиентами, решение сложных задач; • Создание интересных проектов с нуля с использованием новых технологий; • Возможности личного и профессионального развития; • Конкурентоспособную заработную плату, фиксированную в долларах США; • Оплачиваемый отпуск и больничные, медицинская страховка; • Гибкий график работы; • Дружелюбная рабочая атмосфера с минимальной иерархией; • Тимбилдинг, корпоративные мероприятия.