Середній Java Data Engineer з Kafka (DWH) в SoftConstruct Ukraine

13 серпня 2024 р

Middle Java Data Engineer with Kafka (DWH)

віддалено

SoftConstruct Ukraine — це велика продуктова компанія з вірменським коріння.

Ми розробляємо рішення в сфері Big Data, Data Science та CryptoExchange. Ми поєднуємо наш досвід у розробці програмного забезпечення iGaming із передовими технологіями для розробки оригінального програмного забезпечення, такого як спортивна статистика, аналіз ризиків, безпека. У більшості випадків ми маємо справу з нетиповими для ринку проектами, намагаємось знаходити та генерувати нові технологічні рішення у своїй галузі.

Ми підтримуємо наших колег, які беруть активну участь у всіх сферах оборони нашої країни, а також допомагаємо в розробці рішень, технічному забезпеченні безпеки — інформаційному секторі держави. Ми готові запропонувати роботу для ІТ-фахівців, які цього необхідні.

Якщо ви шукаєте нову складну посаду за спеціалізацією  Java , ми будемо раді запропонувати вам нашу посаду Middle Java Engineer .

Проект:

Наша платформа даних є частиною платформи b2b і розроблена таким чином, щоб забезпечувати хорошу продуктивність, простоту, одночасність і вартість- ефективність для збору даних, швидкої аналітики та отримання інформації на основі даних для бізнес-користувачів.
Створений на архітектурі Lambda, він вміло керує величезними обсягами даних, використовуючи методи пакетної та потокової обробки. Цей подвійний підхід забезпечує баланс затримки, пропускної здатності та відмовостійкості. Пакетна обробка забезпечує повні та точні перегляди великих наборів даних, тоді як обробка потоку в реальному часі пропонує миттєве уявлення про онлайн-дані.

У цифрах: - До 1 PB даних від 500+ партнерів у довгостроковому сховищі - 30+ млн нових записів щодня - Затримка для аналізу на основі часу доставки даних <5 секунд

Команда складається з:
інженерів Java, Python інженери, інженери DevOps, аналітики даних, архітектори даних, менеджер проекту, менеджер продукту.

Компетенції / Технічний стек:
Kafka Streams, Kafka Connect, GCP, Google Dataflow (Apache Beam), BigQuery, SQL, Kubernetes , Java, DataHub, RabbitMQ, Redis, Neo4j.

Основні обов’язки:
— Розробка, впровадження та автоматизація розгортання розподілених систем для збору та обробки подій із багатьох джерел;
— Розробляти та керувати схемами даних;
— Створювати та підтримувати конектори, виробники та споживачі Kafka для ефективної потокової передачі та обробки даних;
— Оптимізуйте продуктивність розподілених систем для ефективної обробки великих обсягів даних;
— Виявлення та вирішення проблем у конвеєрах даних і розподілених системах для підтримки безперебійної роботи;
— Співпрацюйте з командами DevOps для розгортання, моніторингу та масштабування кластерів Kafka за потреби.

Обов’язкові атрибути:
— Чудові аналітичні здібності та здібності до вирішення проблем;
— Досвід роботи з технологією Kafka, з практичним досвідом виробництва та глибоким розумінням архітектури Kafka та внутрішньої частини, як вона працює, разом із взаємодією архітектурних компонентів: брокерів, Zookeeper, виробників/споживачів, Kafka Connect, KafkaСтрумки;
— Вміння працювати з реєстром схем;
— Розуміння моніторингу інфраструктури Kafka разом із пов’язаними компонентами (Connectors, KStreams та інші програми виробника/споживача);
— Досвід роботи з інструментами оркестровки контейнерів (наприклад, Kubernetes).

Приємно мати:
— досвід роботи з іншими платформами обробки потокових даних (наприклад, Spark Streaming, Flink);
— Досвід роботи з інструментами керування схемами (наприклад, Avro, Protobuf);
— Досвід роботи з DevSecOps і хмарними технологіями з такими інструментами, як Docker, Kubernetes, Jenkins і Terraform.

Що ми можемо вам запропонувати:
— цікаву та складну роботу в компанії, яка орієнтується на продукти та дані;
— Багато можливостей для навчання, зростання та прогресу в вашій кар’єрі;
— Щорічна відпустка: 20 робочих днів на рік;
— Всі оплачувані лікарняні з довідкою від лікаря (без обмеження на кількість разів. Але за 1 раз оплачується до 2 тижнів);
— Реєстрація в DiiaCity (Gig-контракт);
— Індивідуальні заняття з англійської в онлайн-школі EnglishDom (компенсація в межах 50% від суми витрат);
— 450 євро/ рік бюджету на тренування та/або спорт (компенсація в межах 50 % від суми витрат) після випробувального терміну;
— Безкоштовне медичне страхування після випробувального терміну.

Звучить цікаво? Тоді подайте заявку зараз, не чекайте !
SoftConstruct – це круте місце для роботи, де ви розважатиметеся, знайдете друзів і професійно зростатимете.