Младший инженер по Java-данным в Kafka (DWH) в SoftConstruct Ukraine

13 сентября 2024 г.

Младший Java-инженер данных в Kafka (DWH)

виддалено

SoftConstruct Ukraine  — крупная продуктовая компания с армянским корни.

Мы разрабатываем решения в области больших данных, науки о данных и криптобиржи. Мы объединяем наш опыт в разработке программного обеспечения для iGaming с передовыми технологиями для разработки оригинального программного обеспечения, такого как спортивная статистика, анализ рисков и безопасность. В большинстве случаев мы имеем дело с нетипичными для рынка проектами, пытаемся найти и генерировать новые технологические решения в своей области.

Мы поддерживаем наших коллег, которые активно участвуют во всех сферах обороны нашей страны, а также помогаем в разработке решений, технической поддержке безопасности — информационном секторе государства. Мы готовы предложить работу для ИТ-специалистов, которым это необходимо.

Если вы ищете новую интересную должность по специализации  Java и имеете соответствующий опыт, мы будем более чем рады предложить вам нашу должность младшего инженера Java < б> .

Проект:

Наша платформа данных является частью b2b-платформы и спроектирована так, чтобы обеспечивать хорошую производительность, простоту, параллелизм и экономичность. эффективность сбора данных, быстрого анализа и извлечения информации на основе данных для бизнес-пользователей.
Построенный на архитектуре Lambda, он умело управляет огромными объемами данных, используя методы пакетной и потоковой обработки. Такой двойной подход обеспечивает баланс задержки, пропускной способности и отказоустойчивости. Пакетная обработка обеспечивает комплексное и точное представление больших наборов данных, а потоковая обработка в реальном времени позволяет мгновенно получить ценную информацию на основе онлайн-данных.

В цифрах:  – до 1 ПБ данных от более чем 500 партнеров в долгосрочном хранении.  – 30 + миллионов новых записей ежедневно. – Задержка получения аналитической информации в зависимости от времени доставки данных <5 сек.

В команду входят:
Java-инженеры, Python инженеры, инженеры DevOps, аналитики данных, архитектор данных, менеджер проекта, менеджер по продукту.

Компетенции / Технический стек:
Kafka Streams, Kafka Connect, GCP, Google Dataflow (Apache Beam), BigQuery, SQL, Kubernetes , Java, DataHub, RabbitMQ, Redis, Neo4j.

Основные обязанности:
— Разработка, внедрение и автоматизация развертывания распределенных систем для сбора и обработки событий из нескольких источников;
— Проектирование схем данных и управление ими;
— Создание и поддержка соединителей, производителей и потребителей Kafka для эффективной потоковой передачи и обработки данных;
— Оптимизация производительности распределенных систем для эффективной обработки больших объемов данных;
— Выявление и устранение проблем в конвейерах данных и распределенных системах для обеспечения бесперебойной работы;
  Сотрудничайте с командами DevOps для развертывания, мониторинга и масштабирования кластеров Kafka по мере необходимости.

Обязательные требования:
— Глубокое знание Java Core;
— Знание структур данных и алгоритмов;
— Знание ООП/ООД;
— Знание концепций, принципов и шаблонов проектирования программного обеспечения;
— Опыт работы с реляционными и нереляционными базами данных;
— Математическое мышление, аналитическое инавыки решения проблем.

Приятно иметь:
— Опыт работы со стеком Kafka (Kafka Streams, Kafka Connect, Kafka Schema Registry);
— Опыт работы с любыми платформами потоковой обработки данных (например, Spark Streaming, Flink);
— Понимание технологий больших данных (MapReduce, Hadoop, Spark и т. д.);
— Некоторый опыт работы с инструментами оркестрации контейнеров (например, Kubernetes).

Что мы можем вам предложить:
— Интересная и перспективная работа в компании, ориентированной на продукты и данные;
— Множество возможностей для обучения, роста и карьерного роста;
— Ежегодный отпуск: 20 рабочих дней в году;
— Все оплачиваемые больничные с справкой от врача (без ограничения количества раз. Но за 1 раз оплачивается до 2 недель);
— Регистрация в DiiaCity (Гиг-контракт);
— Индивидуальные занятия английским языком в онлайн-школе EnglishDom (компенсация в пределах 50 % от суммы расходов);
— бюджет 450 евро/год на обучение и/или спорт (компенсация в пределах 50% от суммы расходов) после испытательного срока;
— Бесплатная медицинская страховка после испытательного срока.

Звучит интересно? Тогда подайте заявку прямо сейчас, не ждите!
SoftConstruct — отличное место для работы, где вы сможете весело провести время, завести друзей и расти профессионально.