Архітектор даних в Proxet

18 липня 2024 р

Data Architect

за кордоном, віддалено

Tech stack: Azure Data Factory, PowerBI, Excel, PowerApps, Azure Fabric, Azure Purview, Palantir Foundry AIP, Salesforce, SAP ECC, OSCRE, Spark, SQL, Python, Typescript

Про роль

Наш клієнт є провідним партнером для глобальних інвестицій у реальні активи, під управлінням яких перебувають понад 58 мільярдів євро. Вони пропонують своїм інституційним і приватним клієнтам різноманітні привабливі інвестиційні можливості, що забезпечує довгострокове стійке зростання.

Ця взаємодія з клієнтом – це багатофазова взаємодія з модернізацією методів обробки даних клієнта, починаючи з розгортання сучасної платформи розгортання, яка використовуватиметься для консолідації даних із наявних силосів і в процесі залучення клієнтів до роботи економія, точність і швидкість.

Платформу даних COTS ще не вибрано, і в цій ролі інженер з обробки даних тісно співпрацюватиме з провідним архітектором платформи в проекті, щоб дозволити:

1. Обґрунтована рекомендація щодо платформи даних, яка «найкраще підходить» для клієнта. Ця рекомендація буде у формі детального меморандуму, який охоплюватиме відмінності між платформами, а також моделі витрат на розробку та експлуатацію для кожного з варіантів.
2. Два зразки інтеграції платформи даних використовуватимуться, щоб допомогти клієнту прийняти остаточне рішення щодо найкращої платформи даних для його потреб. Це включатиме впровадження прийому даних, очищення, створення звітів і інформаційної панелі, контроль якості даних, відстеження проблем і CI/CD для кожної платформи, водночас зберігаючи точний відлік потрібних зусиль, щоб дані про зусилля можна було використовувати під час планування Фази 2 цього проекту .

Крім того, розробник даних візьме участь у вибраних видах діяльності з командою Proxet і клієнтом для трьох випадків використання, які стануть основою діяльності Фази 2. Очікується, що ця роль продовжуватиметься до етапу 2 і далі, і, ймовірно, включатиме поїздки до і з клієнтського сайту в ЄС.
Розташування
Віддалений ЄС

Навички та досвід

• Добре знання та участь у постачанні на сучасній платформі даних (Databricks, Snowflake, Azure Fabric або еквівалент)
• Хороші навички роботи з реляційними базами даних, особливо DQL.
• Тверде розуміння концепцій сховищ даних, включаючи ETL/ELT, управління, CDC, оркестровку, прийом даних тощо.
• Знайомство з моделюванням даних та управління основними даними
• Продемонстрований досвід вивчення нових технологій
• Комерційний досвід із Spark/PySpark
• формати зберігання: Parquet, Delta Lake;
• користувацькі програми даних, копіювання, прийом даних за допомогою Python
• Впровадження CI/CD для проектів, орієнтованих на дані
• Комфортна робота принаймні з одним хмарним постачальником (бажано Azure )
• Бажано: Data Factory, Data Lake, SQL сервер, Azure Synapse, Power BI
• Вільне володіння англійською мовою