Средний/старший инженер по данным/разработчик ETL (ID:1293) в Infopulse

28 сентября 2024 г.

Средний/старший инженер по данным/разработчик ETL (ID:1293)

удалено

Infopulse, часть Tietoevry Create ,  приглашает талантливого профессионала присоединиться к нашей растущей команде в качестве   инженера по данным /разработчика ETL . Наш клиент — одна из компаний «большой четверки», предоставляющих аудиторские, налоговые, консалтинговые и финансовые консультационные услуги.

Области ответственности y

• Проектирование, разработка и поддержка процессов ETL для поддержки интеграции данных и требований к отчетности.
• Работайте с Databricks, PySpark (Scala или Python) для создания масштабируемых и эффективных конвейеров данных.
• Используйте Azure Data Factory для оркестрации и автоматизации перемещения и преобразования данных.
• Написание, оптимизация и устранение неполадок сложных SQL-запросов для извлечения, преобразования и загрузки данных.
• Сотрудничайте с межфункциональными группами, чтобы понимать требования к данным и предоставлять высококачественные решения для обработки данных.
• li>
• Мониторинг и обеспечение производительности, надежности и масштабируемости процессов ETL

Квалификация

• 3+ года опыта работы в сфере разработки ETL или инженерии данных.
• Большой опыт работы с Databricks и Spark/Python.
• Знание Azure Data Factory и Azure Synapse.
• Продвинутые навыки работы с SQL, включая оптимизацию запросов и настройку производительности.
• Глубокое понимание концепций и рекомендаций по хранению данных.
• Хорошие навыки решения проблем и внимание к деталям.
<> li> Отличные коммуникативные навыки и способность работать совместно в командной среде

Будет преимуществом

• Опыт работы с облачными платформами данных (например, Azure, AWS).
• Знакомство с методами управления данными и безопасностью.
• Опыт работы с системами контроля версий, такими как Git.