Leitender Dateningenieur in EPAM Systems

BeschreibungUnser Kunde ist ein amerikanisches Videospielunternehmen. Verantwortlichkeiten: Migrieren aktueller Datenpipelines und DAGs von gespeicherten GCP BigQuery-Prozeduren in AWS Redshift. Durchführen erforderlicher Daten-Backfills und Validieren der Qualität und Integrität während und nach der Migration. Entwerfen, Entwickeln und Warten von Datenpipelines mithilfe von AWS-Diensten wie Amazon Redshift (oder eine beliebige MPP-Lösung), Amazon S3, dbt und Apache AirflowNutzen Sie SQL- und ETL/ELT-Lösungen, um Daten aus verschiedenen Quellen in Data Warehouses und Data Lakes umzuwandeln und zu laden. Optimieren Sie Datenworkflows und -prozesse, um Effizienz, Skalierbarkeit und Zuverlässigkeit sicherzustellen. Implementieren Sie automatische Aktualisierungen Mechanismen, um Datenpipelines und -systeme mit den neuesten Daten auf dem neuesten Stand zu halten. Arbeiten Sie mit funktionsübergreifenden Teams zusammen, um Datenanforderungen zu verstehen und Lösungen bereitzustellen, die den Geschäftsanforderungen entsprechen. Überwachen und beheben Sie Datenpipelines, um Probleme rechtzeitig zu erkennen und zu lösen. Führen Sie Datenbewertungen und -analysen durch Bereitstellung von Erkenntnissen und Empfehlungen für datengesteuerte EntscheidungsfindungAnforderungen5+ Jahre Erfahrung als DateningenieurFortgeschrittenes SQL, PLSQL, TSQL für Datentransformation und -optimierungErfahrung mit dem Schreiben von ETL/ELT-Code, Verwaltung und Bereitstellung von DAGs mit DBT oder AirflowPraktische Erfahrung in der Arbeit mit AWS RedShift , falls nicht, haben Sie mit ähnlichen Cloud-EDW-Systemen gearbeitet. Oberes bis mittleres Englischniveau in Wort und Schrift (B2+) Schön zu haben. Vertrautheit mit Google Cloud Platform (GCP) und Google Cloud BigQuery für Datenspeicherung und -analyse. Kenntnisse der AWS-Migrationstools für die Datenübertragung und Workloads von der Google Cloud Platform bis AWSErfahrung mit Analyse- und Datenbewertungstechniken zur Bewertung der Datenqualität, -integrität und -verwendbarkeitKompetenz in BI-Testmethoden und -Tools zur Validierung von Business-Intelligence-Berichten und -DashboardsHintergrund in der Datenanalysetechnik mit Schwerpunkt auf dem Aufbau skalierbarer und effizienter DatenlösungenWir Angebot: Wettbewerbsfähige Vergütung je nach Erfahrung und Fähigkeiten. Individueller Karriereweg. Unbegrenzter Zugriff auf LinkedIn-Lernlösungen. Krankheitsurlaub und regulärer Urlaub. Englischunterricht mit zertifizierten Englischlehrern. Flexible Arbeitszeiten Zeig mehr Zeige weniger Посадовий рівень Starrer Wochentag Typ зайнятості Erster Robotertag Weitere Informationen Informationstechnologie Galuzi ІТ-Folge zur ІТ-Beratung