Starszy inżynier danych w PYGIO

Starszy inżynier danych

віддалено

Poszukujemy starszego inżyniera danych, który będzie wspierał naszego klienta w przestrzeni telekomunikacyjnej. Klient używa Sisense do osadzania pulpitów nawigacyjnych BI na swojej platformie SaaS. Ich podstawowe dane produkcyjne, z których Sisense odczytuje, są przechowywane w bazach danych PostgreSQL w środowisku chmurowym AWS. Dane te są okresowo wczytywane na oddzielne konto AWS i region, w którym Sisense przeprowadza analizy, co skutkuje powolną i kosztowną transmisją danych. Klient konfiguruje hurtownię danych, która będzie działać jako pośredni interfejs między Sisense a danymi produkcyjnymi. Poprawi to wydajność zapytań, zapewni zespołowi BI większą elastyczność w optymalizacji zapytań oraz przyspieszy żądania zmian klientów i rozwój nowych funkcji.

Wymagania:

• Zaprojektuj i wdrożyj niezawodne rozwiązanie hurtowni danych w AWS
• Architekt procesów ETL w celu wydajnego przenoszenia danych pomiędzy produkcyjnymi bazami danych PostgreSQL a Hurtownią Danych
• Optymalizuj procesy przepływu i transformacji danych, aby zapewnić wydajną i opłacalną transmisję danych
• Zintegruj Hurtownię Danych z Sisense, aby umożliwić płynny dashboard BI osadzanie
• Współpraca z zespołem BI w celu doprecyzowania zapytań i poprawy wydajności w nowej hurtowni danych
• Ustalenie najlepszych praktyk w zakresie zarządzania danymi, bezpieczeństwa i monitorowania w ramach hurtowni danych

Niezbędne umiejętności:

• Duże doświadczenie w zakresie koncepcji i najlepszych praktyk związanych z hurtownią danych
• Zaawansowana biegłość w zakresie usług AWS , w tym między innymi:
  
  • Amazon Redshift
  • Klej AWS
  • Amazon S3
  • Potok danych AWS lub funkcje kroków
  • Amazon RDS (PostgreSQL)
  • AWS IAM dla bezpieczeństwa
• Udokumentowane doświadczenie w rozwoju ETL, transformacji i przetwarzaniu danych integracja
• Dobre umiejętności SQL i optymalizacji zapytań
• Doświadczenie w pracy z narzędziami BI (najlepiej Sisense) i osadzaniu dashboardów BI w platformach SaaS
• Głębokie zrozumienie modelowania danych, schemat gwiaździsty oraz zasady normalizacji/denormalizacji danych
• Znajomość najlepszych praktyk w zakresie zarządzania danymi i bezpieczeństwa
• Doskonałe umiejętności komunikacyjne umożliwiające skuteczną interakcję z zespołem BI i innymi interesariuszami

Mile widziane umiejętności:

• Doświadczenie w branży telekomunikacyjnej
• Znajomość innych usług AWS takich jak: Amazon Kinesis, AWS Lambda,
• Amazon QuickSight. AWS Lake Formation
• Znajomość Pythona lub innych języków skryptowych do przetwarzania danych
• Znajomość innych narzędzi BI, takich jak Tableau lub Power BI
• Doświadczenie z narzędziami DevOps, takimi jak Docker , Terraform i potoki CI/CD
• Certyfikaty w AWS, takie jak AWS Certified Solutions Architect lub AWS Certified
• Data Analytics – specjalność

Kluczowe cechy:

• Analityczny myśliciel z nastawieniem na rozwiązywanie problemów
• Samodzielność i proaktywność w identyfikowaniu możliwości poprawy
< li> Gracz zespołowy z umiejętnościąpotrafisz pracować samodzielnie i wspólnie