Старший інженер з даних в PYGIO

Старший інженер з даних

віддалено

Ми шукаємо старшого інженера з обробки даних для допомоги нашому клієнту в сфері телекомунікацій. Клієнт використовує Sisense, щоб вставити інформаційні панелі BI у свою платформу SaaS. Їхні основні виробничі дані, з яких Sisense зчитує, зберігаються в базах даних PostgreSQL у хмарному середовищі AWS. Ці дані періодично зчитуються в окремий обліковий запис AWS і регіон, де Sisense виконує аналітику, що призводить до повільної та дорогої передачі даних. Клієнт налаштовує сховище даних, яке діятиме як проміжний інтерфейс між Sisense та їхніми виробничими даними. Це покращить продуктивність запитів, забезпечить більшу гнучкість для команди BI для оптимізації запитів, а також прискорить запити на зміни клієнта та розробку нових функцій.

Вимоги:

• Розробка та впровадження надійного рішення Data Warehouse в AWS
• Architect ETL-процеси для ефективного переміщення даних між робочими базами даних PostgreSQL і сховищем даних
• Оптимізуйте потік даних і процеси перетворення даних, щоб забезпечити ефективну та рентабельну передачу даних
• Інтегруйте сховище даних із Sisense, щоб увімкнути безперебійну інформаційну панель BI вбудовування
• Співпраця з командою BI для уточнення запитів і підвищення продуктивності в новому сховищі даних
• Встановлення найкращих практик для керування даними, безпеки та моніторингу в сховищі даних

Обов’язкові навички:

• Значний досвід роботи з концепціями та передовими методами сховищ даних
• Поглиблене володіння службами AWS , включаючи, але не обмежуючись :
  
  • Amazon Redshift
  • AWS Glue
  • Amazon S3
  • AWS Data Pipeline or Step Functions
  • Amazon RDS (PostgreSQL)
  • AWS IAM для безпеки
• Перевірена репутація в розробці ETL, перетворенні даних і даних інтеграція
• Сильні навички SQL та оптимізації запитів
• Досвід роботи з інструментами BI (бажано Sisense) і вбудовування інформаційних панелей BI в платформи SaaS
• Глибоке розуміння моделювання даних, зіркова схема та принципи нормалізації/денормалізації даних
• Знайомство з найкращими практиками керування даними та безпеки
• Відмінні навички спілкування для ефективної взаємодії з командою BI та іншими зацікавленими сторонами

Навички, які приємно мати:

• Досвід у телекомунікаційній сфері
• Знайомство з іншими службами AWS, такими як: Amazon Kinesis, AWS Lambda,
• Amazon QuickSight. AWS Lake Formation
• Знання Python або інших мов сценаріїв для обробки даних
• Знайомство з іншими інструментами BI, як-от Tableau або Power BI
• Досвід роботи з інструментами DevOps, як-от Docker , Terraform і конвеєри CI/CD
• Сертифікати в AWS, як-от AWS Certified Solutions Architect або AWS Certified Certified
• Data Analytics — Special

Ключові якості:

• аналітичний мислитель із настроєм вирішення проблем
• самостійність і активність у виявленні можливостей для вдосконалення
< li> Командний гравець зі здібностямиготові працювати незалежно та спільно