Mid Data Engineer – Remote @ Strategic Staffing Solutions in Strategic Staffing Solutions

Strategic Staffing Solutions sucht einen Dateningenieur zur Unterstützung eines globalen US-Kunden in der Öl- und Gasindustrie. Völlig abgelegen von Polen mit optionaler jährlicher Reise zum US-Hauptquartier. Der Dateningenieur unterstützt unsere Softwareentwickler, Datenbankarchitekten, Datenanalysten und Datenwissenschaftler bei Dateninitiativen und stellt sicher, dass die optimale Datenbereitstellungsarchitektur in allen laufenden Projekten konsistent ist. Verantwortlichkeiten des Dateningenieurs: Erstellen und pflegen Sie eine optimale Datenpipeline-Architektur. Stellen Sie große, komplexe Datensätze zusammen, die funktionale/nichtfunktionale Geschäftsanforderungen erfüllen. Identifizieren, entwerfen und implementieren Sie interne Prozessverbesserungen: Automatisierung manueller Prozesse, Optimierung der Datenbereitstellung, Neugestaltung der Infrastruktur für größere Skalierbarkeit usw. Bauen Sie die Infrastruktur auf, die für die optimale Extraktion, Transformation und das Laden von Daten aus einer Vielzahl von Datenquellen erforderlich ist SQL- und AWS-Big-Data-Technologien. Erstellen Sie Analysetools, die die Datenpipeline nutzen, um umsetzbare Einblicke in die Kundenakquise, die betriebliche Effizienz und andere wichtige Kennzahlen zur Geschäftsleistung zu liefern. Arbeiten Sie mit Stakeholdern, einschließlich der Führungs-, Produkt-, Daten- und Designteams, zusammen, um bei datenbezogenen technischen Problemen zu helfen und ihre Dateninfrastrukturanforderungen zu unterstützen. Erstellen Sie Datentools für Analyse- und Datenwissenschaftler-Teammitglieder, die sie beim Aufbau und der Optimierung unseres Produkts zu einem innovativen Branchenführer unterstützen. Arbeiten Sie mit Daten- und Analyseexperten zusammen, um die Funktionalität unserer Datensysteme zu verbessern. Qualifikationen für den Dateningenieur: Fortgeschrittene SQL-Kenntnisse und Erfahrung in der Arbeit mit relationalen Datenbanken, Abfrageerstellung (SQL) sowie Vertrautheit mit einer Vielzahl von Datenbanken. Erfahrung im Aufbau und der Optimierung von Big-Data-Datenpipelines, -architekturen und -datensätzen. Erfahrung in der Durchführung von Ursachenanalysen für interne und externe Daten und Prozesse, um spezifische Geschäftsfragen zu beantworten und Verbesserungsmöglichkeiten zu identifizieren. Starke analytische Fähigkeiten im Zusammenhang mit der Arbeit mit unstrukturierten Datensätzen. Erstellen Sie Prozesse, die Datentransformation, Datenstrukturen, Metadaten, Abhängigkeits- und Workload-Management unterstützen. Eine erfolgreiche Geschichte der Manipulation, Verarbeitung und Wertgewinnung aus großen, unzusammenhängenden Datensätzen. Grundkenntnisse in Nachrichtenwarteschlangen, Stream-Verarbeitung und hoch skalierbaren Big-Data-Datenspeichern. Starke Projektmanagement- und Organisationsfähigkeiten. Erleben Sie die Unterstützung und Zusammenarbeit mit funktionsübergreifenden Teams in einem dynamischen Umfeld. Der Dateningenieur wird dem Produktlinienintegrationsteam für Oberflächenwartung und -inspektion beitreten, um robuste Datenintegrationslösungen zu entwickeln und zu verbessern, um andere Produktteams besser zu unterstützen. Erfahrung mit Datenerfassung, -vorbereitung und -validierung, Datenverschiebung und -transformation in der Azure-Cloud für Datenintegration und ETL-Prozesse. Erfahrung mit Azure-Clouddiensten, einschließlich Azure SQL-Datenbank, Azure Blob Storage, Azure Data Lake, Azure Data Factory und Azure Synapse. Kenntnisse in Big-Data-Technologien wie Spark, Hadoop oder Kafka. Starke Expertise in SQL- und Data-Warehousing-Lösungen. Starke Programmierkenntnisse wie Python für die Datenverarbeitung. Vertraut mitADO CICD-Pipeline und Ansible. Strategic Staffing Solutions sucht einen Dateningenieur zur Unterstützung eines globalen US-Kunden in der Öl- und Gasindustrie. Völlig abgelegen von Polen mit optionaler jährlicher Reise zum US-Hauptquartier. Der Dateningenieur unterstützt unsere Softwareentwickler, Datenbankarchitekten, Datenanalysten und Datenwissenschaftler bei Dateninitiativen und stellt sicher, dass die optimale Datenbereitstellungsarchitektur in allen laufenden Projekten konsistent ist. Verantwortlichkeiten des Dateningenieurs: Erstellen und pflegen Sie eine optimale Datenpipeline-Architektur. Stellen Sie große, komplexe Datensätze zusammen, die funktionale/nichtfunktionale Geschäftsanforderungen erfüllen. Identifizieren, entwerfen und implementieren Sie interne Prozessverbesserungen: Automatisierung manueller Prozesse, Optimierung der Datenbereitstellung, Neugestaltung der Infrastruktur für größere Skalierbarkeit usw. Bauen Sie die Infrastruktur auf, die für die optimale Extraktion, Transformation und das Laden von Daten aus einer Vielzahl von Datenquellen erforderlich ist SQL- und AWS-Big-Data-Technologien. Erstellen Sie Analysetools, die die Datenpipeline nutzen, um umsetzbare Einblicke in die Kundenakquise, die betriebliche Effizienz und andere wichtige Kennzahlen zur Geschäftsleistung zu liefern. Arbeiten Sie mit Stakeholdern, einschließlich der Führungs-, Produkt-, Daten- und Designteams, zusammen, um bei datenbezogenen technischen Problemen zu helfen und ihre Dateninfrastrukturanforderungen zu unterstützen. Erstellen Sie Datentools für Analyse- und Datenwissenschaftler-Teammitglieder, die sie beim Aufbau und der Optimierung unseres Produkts zu einem innovativen Branchenführer unterstützen. Arbeiten Sie mit Daten- und Analyseexperten zusammen, um die Funktionalität unserer Datensysteme zu verbessern. Qualifikationen für den Dateningenieur: Fortgeschrittene SQL-Kenntnisse und Erfahrung in der Arbeit mit relationalen Datenbanken, Abfrageerstellung (SQL) sowie Vertrautheit mit einer Vielzahl von Datenbanken. Erfahrung im Aufbau und der Optimierung von Big-Data-Datenpipelines, -architekturen und -datensätzen. Erfahrung in der Durchführung von Ursachenanalysen für interne und externe Daten und Prozesse, um spezifische Geschäftsfragen zu beantworten und Verbesserungsmöglichkeiten zu identifizieren. Starke analytische Fähigkeiten im Zusammenhang mit der Arbeit mit unstrukturierten Datensätzen. Erstellen Sie Prozesse, die Datentransformation, Datenstrukturen, Metadaten, Abhängigkeits- und Workload-Management unterstützen. Eine erfolgreiche Geschichte der Manipulation, Verarbeitung und Wertgewinnung aus großen, unzusammenhängenden Datensätzen. Grundkenntnisse in Nachrichtenwarteschlangen, Stream-Verarbeitung und hoch skalierbaren Big-Data-Datenspeichern. Starke Projektmanagement- und Organisationsfähigkeiten. Erleben Sie die Unterstützung und Zusammenarbeit mit funktionsübergreifenden Teams in einem dynamischen Umfeld. Der Dateningenieur wird dem Produktlinienintegrationsteam für Oberflächenwartung und -inspektion beitreten, um robuste Datenintegrationslösungen zu entwickeln und zu verbessern, um andere Produktteams besser zu unterstützen. ,[Skalierbare Data Warehouses und Big-Data-Lösungen mit Azure Synapse Analytics entwerfen, erstellen und warten., Datenpipelines entwickeln und optimieren, die verschiedene Datenquellen in Synapse integrieren., Systemleistung überwachen und Abfrageleistungsoptimierung für umfangreiche Datenabfragen durchführen, Fehlerbehebung Probleme und stellen die Systemzuverlässigkeit und Datengenauigkeit sicher.] Anforderungen: Azure Cloud, ETL, Azure SQL-Datenbank, Blob Storage, Azure Data Lake, Azure Data Factory, Azure Synapse, Big Data, Spark, Hadoop, Kafka, SQL, Data Warehouse, Python, CI/CD Pipelines, Ansible, Azure Zusätzlich: Schulungsbudget.