Dateningenieur / Datenplattformingenieur in KOHANSTUDIO

Wir sind ein Team, das sich mit Antikorruptionsanalysen und der Digitalisierung von Regierungsdiensten in der Ukraine, privaten Entwicklungen und mehr beschäftigt – wir suchen einen erfahrenen Dateningenieur, der zu einer technischen Schlüsselfigur bei der Entwicklung einer Datenverarbeitungsplattform wird.

Wir bauen eine skalierbare Datenplattform aus Open-Source-Komponenten, mit der Sie Pipelines beliebiger Komplexität erstellen, visualisieren und in andere Systeme integrieren können.

Über die Rolle

Dies ist eine Engineering-Rolle mit einem erhöhten Grad an Verantwortung.

Sie setzen nicht nur Aufgaben um, sondern beeinflussen Architektur, Ansätze und technische Lösungen, helfen dem Team, schneller und besser voranzukommen.

Minimum an formaler Führung, aber:

• Mitwirkung an technischen Lösungen,

• Architektur- und Code-Reviews

  – erwartet

Hauptaufgaben

• Design und Entwicklung eines skalierbaren und sicheren Datenplattform
• Implementierung und Optimierung von Daten-Pipelines (ETL/ELT). style="font-weight: 700">Cybersicherheit und Zugriffskontrolle.
• Bewertung technischer Lösungen hinsichtlich Komplexität, Fristen und Risiken.

• Technischer Support und Mentoring anderer Entwickler.

Technologie-Stack (obligatorisch)

• Python - sicheres Niveau, Erfahrung aus 3 Jahren.
• SQL (PostgreSQL) - komplexe Abfragen, Optimierung.
• Redis.
• Elasticsearch und Elasticsearch ELK-Stack.
• REST API.
• Git, Bash, CI/CD.
• Docker, Kubernetes, Nginx.

• Grundlegendes Verständnis ML / Datenpipelines.

Data Engineering & Warehousing

• Erstellen von DWH:
  • Sternschema, Fakten- und Dimensionstabellen
  • Slowly Changing Dimensions (SCD)
• Erweitertes SQL: CTE, Fensterfunktionen, Prozeduren.
• Arbeiten mit Presto / Trino.
• Indizes verstehen, inkl. Geoindizes (H3).

• Arbeiten mit räumlichen Daten (GeoJSON, Point, Polygon).

Die Plattform, auf der wir arbeiten

Hauptskript:

1. Aufnahme von Daten (Dagster).
2. Speichern von Rohdaten in S3-kompatiblem (Bronze Layer).
3. Parsing in strukturierte Daten (Silver Layer).
4. Transformationen für Analysen (Goldschicht) 700">S3-kompatibler Speicher.
5. Apache Iceberg – Tabellenformat + Zeitreise.
6. Project Nessie – Datenkatalog.
7. Trino – SQL-Engine.
8. Apache Superset - BI und Dashboards.
9. Keycloak / Authentik - Autorisierung.

10. Kubernetes (k3s) + Terraform + Ansible.

Wäre von Vorteil

• Erfahrung mit Kafka, Spark / PySpark.
• Iceberg / Delta-Tabellen in Produktion.
• Prometheus, Grafana, Jenkins.
• Erfahrung mit KEP, Trembita.
• Erfahrung in Projekten für den öffentlichen Sektor.

• Erfahrung in der informellen Führung oder Betreuung eines Teams (5+ Personen).

Soft Skills, die uns wichtig sind

• Fähigkeit, mit unklaren Anforderungen zu arbeiten.
• Unabhängigkeit und Verantwortung für das Ergebnis.
• Fähigkeit, komplexe technische Dinge einfach zu erklären.
• Verständnis, wann es zu komplizieren ist und wann nicht.

• Proaktivität und gesunde technische Skepsis.

Wir bieten

• Arbeit an sozial bedeutsamen Projekten.
• Echter Einfluss auf Architektur und technische Lösungen.
• Flexibles Arbeitsformat.
• Die Möglichkeit der Buchung für Schlüsselmitarbeiter.
• Angemessenes Team ohne „Corporate“. Theater".