Старший инженер данных в Provectus

Старший инженер по данным

Киев, Одесса, Вроцлав (Польша), Иреван (Вирмения), Новий Сад (Сербия), отдалено

О проекте
Мы ищем талантливого и опытного старшего инженера по обработке данных, который присоединится к нашей команде в Provectus. В рамках наших разнообразных практик, включая данные, машинное обучение, DevOps, разработку приложений и контроль качества, вы будете сотрудничать с многопрофильной командой инженеров данных, инженеров машинного обучения и разработчиков приложений. Вы столкнетесь с многочисленными техническими проблемами и получите возможность внести свой вклад в интересные проекты с открытым исходным кодом (например, ODD, пользовательский интерфейс для Kafka), создавать внутренние решения и участвовать в научно-исследовательских работах, обеспечивая отличную среду для профессионального роста.

Обязанности:

• Тесное сотрудничество с клиентами для глубокого понимания их существующих ИТ-сред, приложений, бизнес-требований и целей цифровой трансформации;
• Собирайте большие объемы разнообразных наборов данных и управляйте ими;
• Работайте напрямую с учеными, работающими с данными, и инженерами по машинному обучению, чтобы создавать надежные и отказоустойчивые конвейеры данных, которые поставляют продукты данных;
• Определить модели данных, которые объединяют разрозненные данные по всей организации;
• Проектирование, внедрение и обслуживание конвейеров ETL;
• Разрабатывайте и постоянно тестируйте решения на основе данных.

Требования:

• 5+ лет опыта работы в области инжиниринга данных;
• Опыт работы с облачными решениями (предпочтительно AWS, а также GCP или Azure);
• Опыт работы с облачными платформами данных (например, Snowflake, Databricks);
• Владение технологиями «Инфраструктура как код» (IaC), такими как Terraform или AWS CloudFormation;
• Опыт работы с потоками данных в реальном времени и в пакетном режиме, а также с хранилищем данных с помощью таких инструментов и технологий, как Airflow, Dagster, Kafka, Apache Druid, Spark, dbt и т. д.;
• Знание языков программирования, связанных с разработкой данных, таких как Python и SQL;
• Опыт создания масштабируемых API;
• Опыт создания приложений генеративного искусственного интеллекта (например, чат-ботов, систем RAG);
• Знакомство с аспектами управления данными, такими как качество, обнаружение, происхождение, безопасность, бизнес-глоссарий, моделирование, основные данные и оптимизация затрат;
• Продвинутое или свободное владение английским языком;
• Сильные навыки решения проблем и способность работать совместно в быстро меняющейся среде.

Приятно иметь:

• Соответствующие сертификаты AWS, GCP, Azure, Databricks;
• Знание инструментов BI (Power BI, QuickSight, Looker, Tableau и т. д.);
• Опыт создания решений для обработки данных в архитектуре Data Mesh;
• Знакомство с классическими задачами и инструментами машинного обучения (например, OCR, AWS SageMaker, MLFlow и т. д.).