Инженер данных/инженер платформы данных в KOHANSTUDIO

Мы — команда, занимающаяся антикоррупционной аналитикой и цифровизацией государственных услуг в Украине, частными разработками и многим другим — мы ищем опытного инженера по обработке данных, который станет ключевой технической фигурой в разработке платформы обработки данных.

Мы строим масштабируемую платформу данных из компонентов с открытым исходным кодом, которая позволяет создавать конвейеры любой сложности, визуализировать их и интегрировать с другими системами.

О роли

Это инженерная роль с повышенным уровнем ответственности.

Вы не просто реализуете задачи, но влияете на архитектуру, подходы и технические решения, помогаете команде двигаться быстрее и лучше.

Минимум формального управления, но:

• участие в технических решениях,

• проверке архитектуры и кода

  —ожидается

Основные обязанности

• Проектирование и разработка масштабируемого и безопасного платформа данных
• Внедрение и оптимизация конвейеров данных (ETL/ELT). style="font-weight: 700">кибербезопасность и контроль доступа.
• Оценка технических решений с точки зрения сложности, сроков и рисков.

• Техническая поддержка и наставничество других разработчиков.

Стек технологий (обязательно)

• Python - уверенный уровень, опыт от 3 лет.
• SQL (PostgreSQL) - сложные запросы, оптимизация.
• Redis.
• Elasticsearch и стек Elasticsearch ELK.
• REST API.
• Git, Bash, CI/CD.
• Docker, Kubernetes, Nginx.

• Базовое понимание ML/конвейеров данных.

Инжиниринг и хранение данных

• Построение DWH:
  • звездообразная схема, таблицы фактов и измерений
  • медленно изменяющиеся измерения (SCD)
• Расширенный SQL: CTE, оконные функции, процедуры.
• Работа с Presto/Trino.
• Понимание индексов, в т.ч. геоиндексы (H3).

• Работа с пространственными данными (GeoJSON, Point, Polygon).

Платформа, на которой мы работаем

Основной скрипт:

1. Прием данных (Dagster).
2. Сохранение необработанных данных в S3-совместимом (бронзовый уровень).
3. Разбор в структурированные данные(серебряный слой).
4. Преобразования для аналитики (золотой слой) 700">S3-совместимое хранилище.
5. Apache Iceberg — табличный формат + путешествие во времени.
6. Проект Несси — каталог данных.
7. Trino — механизм SQL.
8. Apache Superset – BI и информационные панели.
9. Keycloak/Authentik – авторизация.

10. Kubernetes (k3s) + Terraform + Ansible.

Было бы преимуществом

• Опыт работы с Kafka, Spark/PySpark.
• Таблицы Iceberg/Delta в продакшене.
• Prometheus, Grafana, Jenkins.
• Опыт работы с KEP, Трембита.
• Опыт работы в проектах для госсектора.

• Опыт неформального руководства или наставничества команды (5+ человек).

Мягкие навыки, которые важны для нас

• Умение работать с неясными требованиями.
• Независимость и ответственность за результат.
• Умение объяснять сложные технические вещи просто.
• Понимание когда усложнять, а когда нет.

• Проактивность и здоровый инженерный скептицизм.

Мы предлагаем

• Работа над социально значимыми проектами.
• Реальное влияние на архитектуру и технические решения.
• Гибкий формат работы.
• Возможность бронирования ключевых сотрудников.
• Адекватный коллектив без «корпоративного театра».