Big Data Engineer (Polen) in UST Ukraine

Big Data Engineer (Polen)

віддалено

Unser Kunde sucht einen Senior Big Data Engineer, der Teil des Teams wird, das Edge Analytics implementiert und unterstützt Lösungen in einem Google Cloud-Ökosystem. Sie werden einen großartigen Arbeitsplatz finden, wenn Sie sich leidenschaftlich für die Gestaltung von Datenerfassungsaufgaben, das Erlernen neuer Technologien sowie das Vorschlagen und Einführen neuer Technologien begeistern.

STANDORT des Kandidaten: Polen

Verantwortlichkeiten:

• Daten extrahieren, transformieren und laden aus mehreren Quellen und mehreren Formaten mithilfe von Big-Data-Technologien.
• Entwicklung, Verbesserung und Unterstützung von Datenaufnahmejobs aus verschiedenen Quellsystemen nach vorhandenen Entwurfsmustern unter Verwendung von GCP-Diensten wie Apache Spark, Dataproc, Dataflow, BigQuery, Airflow usw.
• Arbeiten Sie teamübergreifend und mit leitenden Ingenieuren zusammen, um Daten für andere innerhalb der Organisation leichter zugänglich zu machen.
• Ändern Sie Datenextraktionspipelines in standardisierte Ansätze, die mit minimaler Aufsicht durch leitende Ingenieure wiederholbar und wiederverwendbar sind.
• Automatisierung manueller Prozesse, Optimierung der Datenbereitstellung, Neugestaltung der Infrastruktur für größere Skalierbarkeit usw.
• Arbeiten Sie eng mit leitenden Ingenieuren zusammen, um Abfrage- und Datenzugriffstechniken zu optimieren.
• Wenden Sie moderne Softwareentwicklungspraktiken an (Serverless Computing, Microservices-Architektur, CI/CD, Infrastructure-as-Code usw.)
• Beteiligen Sie sich an einem engmaschigen Engineering-Team, das agile Software einsetzt Entwicklungspraktiken.

Anforderungen:

• Bachelor-Abschluss in Informatik, Systemtechnik oder gleichwertige Erfahrung.
• Mehr als 5 Jahre Berufserfahrung als Big Data Engineer.
• 3+ Jahre Erfahrung mit Technologien wie Apache Spark, Hive, HDFS und Beam.
• Arbeitserfahrung mit Dataflow, Dataproc, Composer und Datastream.
• 3+ Jahre Erfahrung in SQL und Scala oder Python.
• Mehr als zwei Jahre Erfahrung mit Software-Build-Management-Tools wie Maven oder Gradle.
• Mehr als zwei Jahre Erfahrung in der Arbeit mit Cloud-Technologien wie GCP, AWS oder Azure.

Wird ein Plus sein:

• Data Engineering mit GCP-Technologien (BigQuery, DataProc, Dataflow, Composer, DataStream usw.) )
• Selbststarter, der Prioritätsverschiebungen mit minimaler Aufsicht erkennt/auf sie reagiert
• Quellcodeverwaltungssysteme (z. B. SVN/Git, Github) und Build-Tools wie Maven und Gradle.
• Agile Umgebungen (z. B. Scrum, XP)
• Relationale Datenbanken (z. B. SQL Server, Oracle, MySQL)
• Atlassian-Tools (z. B. JIRA, Confluence und Github). )

Wir bieten:

• Flexible Arbeitszeiten und Möglichkeiten zur Remote-Arbeit (8 Stunden Arbeitstag).
• Freundliches, professionelles Personal und warme Atmosphäre.
• Die Umgebung, in der Sie Ihre Ideen umsetzen können.
• Bezahlter Urlaub und Krankheitstage.
• Krankenversicherung.
• Möglichkeit, remote zu arbeiten.
• Teilnahme an Bildungsaktivitäten und thematischen Konferenzen.
• Teampartys und Firmenevents.