Инженер по Java среднего уровня с Kafka (DWH) в SoftConstruct Ukraine

13 сентября 2024 г.

Инженер по работе с данными Java среднего уровня в Kafka (DWH)

виддалено

SoftConstruct Ukraine  — крупная продуктовая компания с армянским корни.

Мы разрабатываем решения в области больших данных, науки о данных и криптобиржи. Мы объединяем наш опыт в разработке программного обеспечения для iGaming с передовыми технологиями для разработки оригинального программного обеспечения, такого как спортивная статистика, анализ рисков и безопасность. В большинстве случаев мы имеем дело с нетипичными для рынка проектами, пытаемся найти и генерировать новые технологические решения в своей области.

Мы поддерживаем наших коллег, которые активно участвуют во всех сферах обороны нашей страны, а также помогаем в разработке решений, технической поддержке безопасности — информационном секторе государства. Мы готовы предложить работу для ИТ-специалистов, которым это необходимо.

Если вы ищете новую интересную должность по специализации  Java , мы будем более чем рады предложить вам нашу должность Java Engineer среднего звена .

Проект:

Наша платформа данных является частью b2b-платформы и спроектирована так, чтобы обеспечивать хорошую производительность, простоту, параллелизм и экономичность. эффективность сбора данных, быстрого анализа и извлечения информации на основе данных для бизнес-пользователей.
Построенный на архитектуре Lambda, он умело управляет огромными объемами данных, используя методы пакетной и потоковой обработки. Такой двойной подход обеспечивает баланс задержки, пропускной способности и отказоустойчивости. Пакетная обработка обеспечивает комплексное и точное представление больших наборов данных, а потоковая обработка в реальном времени позволяет мгновенно получить ценную информацию на основе онлайн-данных.

В цифрах:  – до 1 ПБ данных от более чем 500 партнеров в долгосрочном хранении.  – 30 + миллионов новых записей ежедневно. – Задержка получения аналитической информации в зависимости от времени доставки данных <5 сек.

В команду входят:
Java-инженеры, Python инженеры, инженеры DevOps, аналитики данных, архитектор данных, менеджер проекта, менеджер по продукту.

Компетенции / Технический стек:
Kafka Streams, Kafka Connect, GCP, Google Dataflow (Apache Beam), BigQuery, SQL, Kubernetes , Java, DataHub, RabbitMQ, Redis, Neo4j.

Основные обязанности:
— Разработка, внедрение и автоматизация развертывания распределенных систем для сбора и обработки событий из нескольких источников;
— Проектирование схем данных и управление ими;
— Создание и поддержка соединителей, производителей и потребителей Kafka для эффективной потоковой передачи и обработки данных;
— Оптимизация производительности распределенных систем для эффективной обработки больших объемов данных;
— Выявление и устранение проблем в конвейерах данных и распределенных системах для обеспечения бесперебойной работы;
  Сотрудничайте с командами DevOps для развертывания, мониторинга и масштабирования кластеров Kafka по мере необходимости.

Обязательные качества:
— Отличные аналитические способности и способности к устранению неполадок;
— Опыт работы с технологией Kafka, практический опыт производства и глубокое понимание архитектуры Kafka и внутреннего устройства ее работы, а также взаимодействия архитектурных компонентов: брокеров, Zookeeper, производителей/потребителей, Kafka Connect, Kafka.Потоки;
— Умение работать с реестром схем;
— Понимание мониторинга инфраструктуры Kafka и связанных с ней компонентов (коннекторы, KStreams и другие приложения производителя/потребителя);
— Опыт работы с инструментами оркестрации контейнеров (например, Kubernetes).

Приятно иметь:
— Опыт работы с другими платформами потоковой обработки данных (например, Spark Streaming, Flink);
— Опыт работы с инструментами управления схемами (например, Avro, Protobuf);
— Опыт работы с DevSecOps и облачными технологиями с такими инструментами, как Docker, Kubernetes, Jenkins и Terraform.

Что мы можем вам предложить:
— Интересная и перспективная работа в компании, ориентированной на продукты и данные;
— Множество возможностей для обучения, роста и карьерного роста;
— Ежегодный отпуск: 20 рабочих дней в году;
— Все оплачиваемые больничные с справкой от врача (без ограничения количества раз. Но за 1 раз оплачивается до 2 недель);
— Регистрация в DiiaCity (Гиг-контракт);
— Индивидуальные занятия английским языком в онлайн-школе EnglishDom (компенсация в пределах 50 % от суммы расходов);
— бюджет 450 евро/год на обучение и/или спорт (компенсация в пределах 50% от суммы расходов) после испытательного срока;
— Бесплатная медицинская страховка после испытательного срока.

Звучит интересно? Тогда подайте заявку прямо сейчас, не ждите!
SoftConstruct — отличное место для работы, где вы сможете весело провести время, завести друзей и расти профессионально.