Старший инженер данных в PYGIO

Старший инженер по обработке данных

удалено

Мы ищем старшего инженера по обработке данных, который будет помогать нашему клиенту в сфере телекоммуникаций. Клиент использует Sisense для встраивания информационных панелей BI в свою платформу SaaS. Их основные производственные данные, которые считывает Sisense, хранятся в базах данных PostgreSQL в облачной среде AWS. Эти данные периодически считываются в отдельный аккаунт AWS и регион, где Sisense выполняет аналитику, что приводит к медленной и дорогостоящей передаче данных. Клиент создает хранилище данных, которое будет действовать как промежуточный интерфейс между Sisense и его производственными данными. Это повысит производительность запросов, предоставит команде BI большую гибкость при оптимизации запросов, а также ускорит запросы клиентов на изменение и разработку новых функций.

Требования:

• Спроектируйте и внедрите надежное решение для хранилища данных в AWS.
• Спроектируйте процессы ETL для эффективного перемещения данных. между производственными базами данных PostgreSQL и хранилищем данных.
• Оптимизируйте поток данных и процессы преобразования данных, чтобы обеспечить эффективную и экономичную передачу данных.
• Интегрируйте хранилище данных с Sisense, чтобы обеспечить бесперебойную панель бизнес-аналитики. встраивание
• Сотрудничайте с командой BI для уточнения запросов и повышения производительности нового хранилища данных
• Разработайте передовые методы управления данными, безопасности и мониторинга в хранилище данных

Обязательные навыки:

• Большой опыт работы с концепциями и передовыми практиками хранения данных.
• Продвинутое знание сервисов AWS. , включая, помимо прочего:
  
  • Amazon Redshift
  • AWS Glue
  • Amazon S3
  • Конвейер данных AWS или пошаговые функции
  • Amazon RDS (PostgreSQL)
  • AWS IAM для безопасности
• Проверенный опыт в разработке ETL , преобразовании и обработке данных интеграция
• Сильные навыки SQL и оптимизации запросов
• Опыт работы с инструментами BI (предпочтительно Sisense) и внедрения информационных панелей BI в платформы SaaS
• Глубокое понимание моделирования данных, звездная схема и принципы нормализации/денормализации данных.
• Знакомство с передовыми практиками управления данными и обеспечения безопасности.
• Отличные коммуникативные навыки для эффективного взаимодействия с командой BI и другими заинтересованными сторонами.

Желающие иметь навыки:

• Опыт работы в сфере телекоммуникаций
• Знакомство с другими сервисами AWS, такими как Amazon Kinesis, AWS Lambda,
• Amazon QuickSight. AWS Lake Formation
• Знание Python или других языков сценариев для обработки данных
• Знакомство с другими инструментами BI, такими как Tableau или Power BI
• Опыт работы с инструментами DevOps, такими как Docker , Terraform и конвейеры CI/CD
• Сертификаты в AWS, например AWS Certified Solutions Architect или AWS Certified
• Аналитика данных — специальность

Ключевые качества:

• Аналитический склад ума с мышлением, ориентированным на решение проблем.
• Самостоятельность и инициативность в поиске возможностей для улучшения.
< li> Командный игрок со способностьюя работаю независимо и совместно