Старший инженер данных в Provectus

О проекте
Мы ищем талантливого и опытного старшего инженера по обработке данных, который присоединится к нашей команде в Provectus. В рамках наших разнообразных практик, включая данные, машинное обучение, DevOps, разработку приложений и контроль качества, вы будете сотрудничать с многопрофильной командой инженеров данных, инженеров машинного обучения и разработчиков приложений. Вы столкнетесь с многочисленными техническими проблемами и получите возможность внести свой вклад в интересные проекты с открытым исходным кодом (например, ODD, пользовательский интерфейс для Kafka), создавать внутренние решения и участвовать в научно-исследовательских работах, обеспечивая отличную среду для профессионального роста.

• Тесное сотрудничество с клиентами для глубокого понимания их существующей ИТ-среды, приложений, бизнес-требований и целей цифровой трансформации;
• Собирайте большие объемы разнообразных наборов данных и управляйте ими;
• Работайте напрямую с учеными по данным и инженерами ML, чтобы создать надежные и отказоустойчивые конвейеры данных, которые поставляют продукты данных;
• Определяйте модели данных, которые интегрируют разрозненные данные. данные во всей организации;
• Проектировать, внедрять и поддерживать конвейеры ETL;
• Разрабатывать и постоянно тестировать решения, основанные на данных.

Требования:

• 5+ лет опыта работы в области инжиниринга данных;
• Опыт работы с облачными решениями (предпочтительно AWS, а также GCP или Azure);
• Опыт работы с облачными решениями (предпочтительно AWS, а также GCP или Azure);
• Опыт работы с облачными решениями (предпочтительно AWS, а также GCP или Azure);
• Опыт работы с облачными решениями li>
• Опыт работы с облачными платформами данных (например, Snowflake, Databricks);
• Владение технологиями «Инфраструктура как код» (IaC), такими как Terraform или AWS CloudFormation;
• Опыт работы в реальных условиях. -временной и пакетный поток данных, а также хранилище данных с помощью таких инструментов и технологий, как Airflow, Dagster, Kafka, Apache Druid, Spark, dbt и т. д.;
• Знание языков программирования, имеющих отношение к инжинирингу данных, таких как Python и SQL. ;
• Опыт создания масштабируемых API;
• Опыт создания генеративных приложений искусственного интеллекта (например, чат-ботов, систем RAG);
• Знакомство с аспектами управления данными, такими как качество , Discovery, Lineage, Security, Business Gлоссарий, моделирование, основные данные и оптимизация затрат;
• продвинутые или свободные навыки английского языка;
• сильные навыки решения проблем и способность работать совместно. в быстро меняющейся среде.

Приятно иметь:

• соответствующие сертификаты AWS, GCP, Azure, Databricks;< /li>
• Знание инструментов BI (Power BI, QuickSight, Looker, Tableau и т. д.);
• Опыт построения решений для обработки данных в архитектуре Data Mesh;
• Знание с классическими задачами и инструментами машинного обучения (например, OCR, AWS SageMaker, MLFlow и т. д.).