Архитектор данных в Proxet

18 июля 2024 г.

Архитектор данных

в кордоне, проверено

Технический стек: Фабрика данных Azure, PowerBI, Excel, PowerApps, Azure Fabric, Azure Purview, Palantir Foundry AIP, Salesforce, SAP ECC, OSCRE, Spark, SQL, Python, Typescript

О роли

Наш клиент является ведущим партнером по глобальным инвестициям в реальные активы с активами под управлением на сумму более 58 миллиардов евро. Они предлагают своим институциональным и частным клиентам различные привлекательные инвестиционные возможности, обеспечивающие долгосрочный устойчивый рост.

Это взаимодействие с клиентом представляет собой многоэтапное взаимодействие по модернизации методов работы с данными клиента, начиная с развертывания современной платформы развертывания, которая будет использоваться для консолидации данных из существующих разрозненных источников и в процессе обеспечения работоспособности клиента. экономия, точность и скорость.

Платформа данных COTS еще не выбрана, и в этой роли инженер по обработке данных будет тесно сотрудничать с ведущим архитектором платформы в проекте, чтобы обеспечить следующее:

1. Аргументированная рекомендация по платформе данных, которая «наиболее подходит» клиенту. Эта рекомендация будет иметь форму подробного меморандума, охватывающего различия в платформах, а также модели затрат на разработку и эксплуатацию для каждого из вариантов.
2. Два примера интеграции платформы данных будут использоваться, чтобы помочь клиенту принять окончательное решение относительно лучшей платформы данных для его нужд. Это будет включать в себя реализацию приема данных, очистку, создание отчетов и информационных панелей, контроль качества данных, отслеживание проблем и CI/CD для каждой платформы, при этом точно отслеживая требуемые усилия, чтобы данные о усилиях можно было использовать при планировании второго этапа этого проекта. .

Кроме того, инженер по работе с данными будет участвовать в выбранных действиях по обнаружению вместе с командой Proxet и клиентом для трех вариантов использования, которые станут основой мероприятий этапа 2. Ожидается, что эта роль будет продолжаться на этапе 2 и далее и, вероятно, будет включать в себя поездки на и обратно к объекту клиента в ЕС.
Местоположение
Удаленный ЕС

Навыки и опыт

• Хорошие знания и участие в доставке на современной платформе данных (Databricks, Snowflake, Azure Fabric или эквивалент)
• Хорошие навыки работы с реляционными базами данных, особенно DQL.
• Глубокое понимание концепций хранилища данных, включая ETL/ELT, управление, CDC, оркестровку, прием и т. д.
• Знакомство с моделированием данных. и управление основными данными.
• Подтвержденный опыт изучения новых технологий.
• Коммерческий опыт работы с Spark/PySpark.
• Форматы хранения: Parquet, Delta Lake;
• пользовательские приложения для обработки данных, очистка и прием с использованием Python
• Внедрение CI/CD для проектов, ориентированных на данные
• Комфортная работа как минимум с одним поставщиком облачных услуг (предпочтительно Azure) )
• Предпочтительно: Фабрика данных, Data Lake, SQL-сервер, Azure Synapse, Power BI
• Свободное владение английским языком