Ведущий инженер по большим данным в KITRUM

20 июля 2024 г.

Ведущий инженер по большим данным

Варшава (Польша)

Требуемые навыки

— 5+ лет опыта опыт работы в области инженерии данных с упором на технологии больших данных.
— Продвинутые навыки работы с Scala и/или Python.
— Владение Apache Spark/PySpark/Spark SQL DSL
— Большой опыт работы с AWS (EC2, IAM, S3, Glue, EMR)
— Обширное знание процессов и инструментов CI/CD ( Дженкинс, Действия GitHub).
 — Знание конвейеров обработки данных/проектирования и архитектуры баз данных (Lambda, Kappa, архитектура Datalake/Lakehouse).
 — Знакомство с Databricks (работы, хранилище SQL, OverWatch, каталог Unity).
— Глубокое понимание потоковой передачи данных и обработки данных в реальном времени.
— Опыт работы с брокерами сообщений (Kafka) и методами отслеживания измененных данных (CDC).
— Знание баз данных SQL и NoSQL.
— Уровень английского языка: Upper-Intermediate.

Как плюс

— Опыт работы с Apache Airflow, включая написание плагинов и собственных операторов.
— Опыт работы с Terraform
 — Хорошее понимание сервисов платформы данных AWS и их сильных и слабых сторон
— Большой опыт использования Jira, Slack, IDE JetBrains, Git, GitLab, GitHub, Docker, Jenkins < /p>

Обязанности

 — Руководить проектированием, разработкой и обслуживанием масштабируемых и эффективных конвейеров данных.
Проводить обзоры кода и создавать проектную документацию для новых функций.
  Оказание технической поддержки и наставничества другим командам внутри организации.
— Участвуйте в совещаниях руководства, чтобы обсуждать приоритеты, масштабы, сроки и зависимости между командами.
 — Разработка, оптимизация и настройка заданий Apache Spark (Scala, PySpark, Spark SQL).
— Реализуйте процессы CI/CD с помощью Jenkins и GitHub Actions.
— Разработайте и внедрите конвейеры обработки данных с использованием сервисов AWS и GCP.
 – Используйте Apache Airflow для управления и автоматизации рабочих процессов, включая разработку пользовательских плагинов.
 – Используйте Databricks для планирования заданий, хранения SQL и визуализации данных.

Мы предлагаем

— Высокое вознаграждение в зависимости от ваших технических навыков;
— Интересные проекты с отличными Заказчиками;
— 5-дневная рабочая неделя, 8-часовой рабочий день, гибкий график;
— Демократический стиль управления и дружественная атмосфера;
— Полноценный удаленный доступ;
— Ежегодный оплачиваемый отпуск — 30 б/дней + неоплачиваемый отпуск;
— Оплачиваемые больничные — 6 б/дней в год;
— Корпоративные бонусы (внешнее обучение, курсы английского языка, корпоративные мероприятия/тимбилдинги);
— Профессиональный и личностный рост.

Описание проекта

Клиент — американская служба подписки на электронные книги и аудиокниги, включающая один миллион наименований. Платформа размещает 60 миллионов документов на открытой платформе публикации.
Платформа позволяет:
— любому человеку делиться своими идеями с миром;
— доступ к аудиокнигам;
— доступ к композиторам со всего мира, публикующим свою музыку;
— включает статьи частных издательств и мировых журналов;
 — разрешает доступ к эксклюзивному контенту.

Core Platform предоставляет надежное базовое программное обеспечение, повышающее эффективность работы для масштабированияpps и данные. Мы сосредоточены на создании, тестировании, развертывании приложений и инфраструктуры, которые помогут другим командам быстро масштабироваться, взаимодействовать, интегрироваться с данными в реальном времени и включать машинное обучение в свои продукты. Работая с нашими клиентами из отделов обработки данных и разработки контента, а также с нашими коллегами из команд внутренних инструментов и инфраструктуры, мы обеспечиваем прозрачность и целенаправленность наших проектов на системном уровне.

Целью клиента является не полное архитектурное или дизайнерское совершенство, а выбор правильного компромисса для достижения баланса между скоростью, качеством и стоимостью.

Описание компании

KitRUM — универсальная компания по разработке программного обеспечения на заказ со штаб-квартирой в солнечной Флориде и центрами разработки в Украине и Польше.
Обладая более 300 первоклассными инженерными ресурсами, мы помогаем руководителям стартапов, поддерживаемых венчурным капиталом, и быстрорастущих технологических компаний в США, ЕС и Австралии создавать по индивидуальному заказу команды разработчиков программного обеспечения, укомплектованные талантливыми специалистами высшего уровня.

Почему мы?

Мы понимаем, что одно из самых важных вещей для разработчиков — это адекватные клиенты и интересные проекты. Поэтому мы квалифицируем наших клиентов, чтобы убедиться, что они:
— имеют идею, которая, по их мнению, сделает мир лучше;
 – думайте о долгосрочной перспективе и ищите надежного технологического партнера;
  хочу полагаться на и избегать микроменеджмента;
— это не чертовы придурки :-)

Следите за нашей командой в Instagram, чтобы узнать больше о нашей повседневной жизни :)
Мы обожаем заводить новых друзей на доске!