Инженер по обработке данных в Microsoft Fabric @ AVENGA в AVENGA

Инженер по обработке данных будет работать над внедрением новой платформы данных для нового продукта годового автострахования. Платформа будет представлять собой среду Lakehouse, использующую архитектуру Medalion в Microsoft Fabric. Ожидается, что кандидат будет работать с директором по ИТ и аналитике бизнес-аналитики, чтобы получать данные по автострахованию из нескольких источников, помогать в разработке схем таблиц Lakehouse и склада, управлять и повышать качество данных, а также обеспечивать соответствие проекта требованиям управления данными. Эта роль имеет решающее значение для предоставления управленческой информации и отчетности по новому годовому страховому продукту, а также предоставления ключевых данных командам по ценообразованию, андеррайтингу и борьбе с мошенничеством.

• Знание SQL и Python как языков обработки данных.
• Опыт работы с Apache Spark или Databricks в качестве механизмов обработки данных.
• Большой опыт работы с шаблонами Lakehouse и медальонной архитектурой в области инженерии данных.
• Знакомство со службами данных Azure и другими соответствующими инструментами управления данными, включая Microsoft Fabric, Synapse Analytics и Data Factory.

Инженер по обработке данных будет работать над внедрением новой платформы данных для нового продукта годового автострахования. Платформа будет представлять собой среду Lakehouse, использующую архитектуру Medalion в Microsoft Fabric. Ожидается, что кандидат будет работать с директором по ИТ и аналитике бизнес-аналитики, чтобы получать данные по автострахованию из нескольких источников, помогать в разработке схем таблиц Lakehouse и склада, управлять и повышать качество данных, а также обеспечивать соответствие проекта требованиям управления данными. Эта роль имеет решающее значение для предоставления управленческой информации и отчетности по новому годовому страховому продукту, а также предоставления ключевых данных командам по ценообразованию, андеррайтингу и борьбе с мошенничеством.

,[ Внедрить архитектуру Medallion: применить архитектуру Medallion для организации слоев данных (бронзовый, серебряный, золотой) в Lakehouse, обеспечивая постепенное повышение качества данных. Проектирование и оптимизация хранилища данных: разработка масштабируемых и безопасных решений для хранения данных которые соответствуют принципам архитектуры медальонов. Разработка конвейеров обработки данных. Создавайте и поддерживайте надежные конвейеры данных для эффективного приема, преобразования и консолидации данных. Обеспечьте качество и соответствие данных: поддерживайте высокие стандарты управления данными, обеспечивая соблюдение отраслевых норм и законов о конфиденциальности данных. Сотрудничать с межфункциональными группами. Тесно сотрудничать с заинтересованными сторонами в компании, чтобы понять требования к данным и предоставить информацию, необходимую для принятия стратегических решений.]
Требования: SQL, Python, Apache Spark, Блоки данных, шаблоны Lakehouse, архитектура Medallion, службы данных Azure
Инструменты: Agile, Scrum.
Дополнительно: Спортивная подписка, Частное здравоохранение, Плоская структура, Небольшие команды, Международные проекты, Worksmile, LuxMED, Мультиспорт, Интеграционные мероприятия.