Junior Java Data Engineer with Kafka (DWH) в SoftConstruct Ukraine

13 серпня 2024 р

Junior Java Data Engineer with Kafka (DWH)

віддалено

SoftConstruct Ukraine — це велика продуктова компанія з вірменським коріння.

Ми розробляємо рішення в сфері Big Data, Data Science та CryptoExchange. Ми поєднуємо наш досвід у розробці програмного забезпечення iGaming із передовими технологіями для розробки оригінального програмного забезпечення, такого як спортивна статистика, аналіз ризиків, безпека. У більшості випадків ми маємо справу з нетиповими для ринку проектами, намагаємось знаходити та генерувати нові технологічні рішення у своїй галузі.

Ми підтримуємо наших колег, які беруть активну участь у всіх сферах оборони нашої країни, а також допомагаємо в розробці рішень, технічному забезпеченні безпеки — інформаційному секторі держави. Ми готові запропонувати роботу для ІТ-фахівців, які цього необхідні.

Якщо ви шукаєте нову складну посаду за спеціалізацією  Java і маєте відповідний досвід, ми будемо раді запропонувати вам нашу посаду Junior Java Engineer < b> .

Проект:

Наша платформа даних є частиною платформи b2b і розроблена таким чином, щоб забезпечувати хорошу продуктивність, простоту, одночасність і вартість- ефективність для збору даних, швидкої аналітики та отримання інформації на основі даних для бізнес-користувачів.
Створений на архітектурі Lambda, він вміло керує величезними обсягами даних, використовуючи методи пакетної та потокової обробки. Цей подвійний підхід забезпечує баланс затримки, пропускної здатності та відмовостійкості. Пакетна обробка забезпечує повні та точні перегляди великих наборів даних, тоді як обробка потоку в реальному часі пропонує миттєве уявлення про онлайн-дані.

У цифрах: - До 1 PB даних від 500+ партнерів у довгостроковому сховищі - 30+ млн нових записів щодня - Затримка для аналізу на основі часу доставки даних <5 секунд

Команда складається з:
інженерів Java, Python інженери, інженери DevOps, аналітики даних, архітектори даних, менеджер проекту, менеджер продукту.

Компетенції / Технічний стек:
Kafka Streams, Kafka Connect, GCP, Google Dataflow (Apache Beam), BigQuery, SQL, Kubernetes , Java, DataHub, RabbitMQ, Redis, Neo4j.

Основні обов’язки:
— Розробка, впровадження та автоматизація розгортання розподілених систем для збору й обробки подій із багатьох джерел;
— Розробляти та керувати схемами даних;
— Створювати та підтримувати конектори, виробники та споживачі Kafka для ефективної потокової передачі та обробки даних;
— Оптимізуйте продуктивність розподілених систем для ефективної обробки великих обсягів даних;
— Виявлення та вирішення проблем у конвеєрах даних і розподілених системах для підтримки безперебійної роботи;
— Співпрацюйте з командами DevOps для розгортання, моніторингу та масштабування кластерів Kafka за потреби.

Обов’язкові речі:
— Глибоке знання Java Core;
— Знання структур і алгоритмів даних;
— Знання OOP/OOD;
— Знання концепцій, принципів і шаблонів розробки програмного забезпечення;
— Досвід роботи з реляційними та нереляційними базами даних;
— Математичне мислення, аналітичні танавички вирішення проблем.

Приємно мати:
— досвід роботи зі стеком Kafka (Kafka Streams, Kafka Connect, Kafka Schema Registry);
— Досвід роботи з будь-якими платформами обробки потокових даних (наприклад, Spark Streaming, Flink);
— Розуміння технологій великих даних (MapReduce, Hadoop, Spark тощо);
— Певний досвід роботи з інструментами оркестровки контейнерів (наприклад, Kubernetes).

Що ми можемо вам запропонувати:
— цікаву та складну роботу в компанії, яка орієнтується на продукти та дані;
— Багато можливостей навчатися, розвиватися та розвиватися у вашій кар’єрі;
— Щорічна відпустка: 20 робочих днів на рік;
— Всі оплачувані лікарняні з довідкою від лікаря (без обмеження на кількість разів. Але за 1 раз оплачується до 2 тижнів);
— Реєстрація в DiiaCity (Gig-контракт);
— Індивідуальні заняття з англійської в онлайн-школі EnglishDom (компенсація в межах 50% від суми витрат);
— 450 євро/ рік бюджету на тренування та/або спорт (компенсація в межах 50 % від суми витрат) після випробувального терміну;
— Безкоштовне медичне страхування після випробувального терміну.

Звучить цікаво? Тоді подайте заявку зараз, не чекайте !
SoftConstruct – це круте місце для праці, де ви розважатиметеся, знайдете друзів і професійно зростатимете.