Inżynier danych / Inżynier platformy danych w KOHANSTUDIO

Jesteśmy zespołem pracującym nad analityką antykorupcyjną i cyfryzacją usług rządowych na Ukrainie, inwestycjami prywatnymi i nie tylko — szukamy doświadczonego inżyniera danych, który stanie się kluczową osobą techniczną w rozwoju platformy przetwarzania danych.

Budujemy skalowalną platformę danych z komponentów typu open source, która pozwala tworzyć potoki o dowolnej złożoności, wizualizować je i integrować z innymi systemami.

O roli

Jest to rola inżynierska o zwiększonym poziom odpowiedzialności.

Nie tylko realizujesz zadania, ale wpływasz na architekturę, podejścia i rozwiązania techniczne, pomagasz zespołowi działać szybciej i lepiej.

Minimum formalnego zarządzania, ale:

• udział w rozwiązaniach technicznych,

• przeglądy architektury i kodu

  —oczekiwane

Główne obowiązki

• Projektowanie i rozwój skalowalna i bezpieczna platforma danych
• Wdrożenie i optymalizacja potoków danych (ETL/ELT). style="font-weight: 700">cyberbezpieczeństwo i kontrola dostępu.
• Ocena rozwiązań technicznych pod kątem złożoności, terminów i ryzyka.

• Wsparcie techniczne i mentoring innych programistów.

Stos technologii (obowiązkowy)

• Python - poziom pewności, doświadczenie od 3 lat.
• SQL (PostgreSQL) - złożone zapytania, optymalizacja.
• Redis.
• Stos Elasticsearch i Elasticsearch ELK.
• REST API.
• Git, Bash, CI/CD.
• Docker, Kubernetes, Nginx.

• Podstawowa wiedza ML / potoki danych.

Inżynieria danych i magazynowanie

• Tworzenie DWH:
  • schemat gwiazdowy, tabele faktów i wymiarów
  • powoli zmieniające się wymiary (SCD)
• Zaawansowany SQL: CTE, funkcje okienne, procedury.
• Praca z Presto / Trino.
• Zrozumienie indeksów, m.in. geoindeksy (H3).

• Praca z danymi przestrzennymi (GeoJSON, Point, Polygon).

Platforma, na której pracujemy

Skrypt główny:

1. Pozyskiwanie danych (Dagster).
2. Zapisywanie surowych danych w (warstwa brązowa) zgodnych z S3.
3. Przetwarzanie danych strukturalnych (warstwa srebrna).
4. Przekształcenia dla celów analitycznych (warstwa złota) 700">Pamięć zgodna z S3.
5. Apache Iceberg — format tabelaryczny + podróż w czasie.
6. Project Nessie — katalog danych.
7. Trino — silnik SQL.
8. Apache Superset - BI i dashboardy.
9. Keycloak / Authentik - autoryzacja.

10. Kubernetes (k3s) + Terraform + Ansible.

Byłaby zaletą

• Doświadczenie z Kafka, Spark / PySpark.
• Stoły Iceberg / Delta w produkcji.
• Prometheus, Grafana, Jenkins.
• Doświadczenie z KEP, Trembita.
• Doświadczenie w projektach dla sektora publicznego.

• Doświadczenie w nieformalnym kierowaniu lub mentorowaniu zespołu (5+ osób).

Kompetencje miękkie, które są dla nas ważne

• Umiejętność pracy z niejasnymi wymaganiami.
• Niezależność i odpowiedzialność za wynik.
• Umiejętność prostego wyjaśniania skomplikowanych zagadnień technicznych.
• Zrozumienie kiedy komplikować, a kiedy nie.

• Proaktywność i zdrowy sceptycyzm inżynierski.

Oferujemy

• Praca przy projektach znaczących społecznie.
• Rzeczywisty wpływ na architekturę i rozwiązania techniczne.
• Elastyczny format pracy.
• Możliwość rezerwacji dla kluczowych pracowników.
• Odpowiedni zespół bez „korporacyjnych” teatr”.