Провідний інженер з великих даних в KITRUM

20 липня 2024 р

Провідний інженер з великих даних

Варшава (Польща)

Необхідні навички

— 5+ років досвід роботи з інженерією даних, зосереджено на технологіях великих даних.
— Поглиблені навички Scala та/або Python.
— Знання Apache Spark/PySpark/Spark SQL DSL
— Великий досвід роботи з AWS (EC2, IAM, S3, Glue, EMR)
— Глибокі знання процесів та інструментів CI/CD ( Дженкінс, GitHub Actions).
— Досконале володіння конвеєрами обробки даних/дизайном та архітектурою баз даних (Lambda, Kappa, Datalake/Lakehouse архітектура)
— Знайомство з Databricks (Jobs, SQL Warehouse, OverWatch, Unity Catalog).
— Глибоке розуміння потокової передачі даних і обробки даних у реальному часі.
— Досвід роботи з брокерами повідомлень (Kafka) і методами Change Data Capture (CDC).
— Вміння працювати з базами даних SQL і NoSQL.
— Рівень англійської: Upper-Intermediate.

Як плюс

— досвід роботи з Apache Airflow, зокрема написання плагінів і спеціальних операторів.
— Досвід роботи з Terraform
— Глибоке розуміння сервісів платформ даних AWS та їхніх сильних/слабких сторін
— Великий досвід використання Jira, Slack, JetBrains IDE, Git, GitLab, GitHub, Docker, Jenkins < /p>

Обов’язки

— керувати проектуванням, розробкою та обслуговуванням масштабованих і ефективних конвеєрів даних.
Проводьте перевірки коду та створюйте проектні документи для нових функцій.
— Надавати технічну підтримку та наставництво іншим командам в організації.
— Беріть участь у нарадах із керівництвом, щоб обговорити пріоритети, масштаби, кінцеві терміни та міжгрупові залежності.
— Розробка, оптимізація та налаштування завдань Apache Spark (Scala, PySpark, Spark SQL).
— Реалізуйте процеси CI/CD за допомогою Jenkins і GitHub Actions.
— Розробляйте та впроваджуйте конвеєри обробки даних за допомогою сервісів AWS і GCP.
— Працюйте з Apache Airflow, щоб керувати та автоматизувати робочі процеси, включаючи розробку спеціальних плагінів.
— Використовуйте Databricks для планування завдань, зберігання SQL та візуалізації даних.

Ми пропонуємо

— високу компенсацію відповідно до ваших технічних навичок;
— Цікаві проекти з чудовими Замовниками;
— 5-денний робочий тиждень, 8-годинний робочий день, гнучкий графік;
— Демократичний стиль управління та дружнє середовище;
— Повний пульт;
— Щорічна оплачувана відпустка — 30 б/днів + неоплачувана відпустка;
— Оплачувані лікарняні — 6 б/днів на рік;
— Корпоративні бонуси (заочне навчання, курси англійської мови, корпоративні заходи/тімбілдинги);
— Професійне та особистісне зростання.

Опис проекту

Клієнт — це американська служба підписки на електронні та аудіокниги, яка включає мільйон найменувань. Платформа розміщує 60 мільйонів документів на своїй відкритій платформі публікації.
Платформа дозволяє:
— будь-кому поділитися своїми ідеями зі світом;
— доступ до аудіокниг;
— доступ до композиторів світу, які публікують свою музику;
— містить статті приватних видавництв і світових журналів;
— надає доступ до ексклюзивного вмісту.

Основна платформа забезпечує надійне базове програмне забезпечення, що підвищує операційну досконалість для масштабуванняpps і дані. Ми зосереджені на створенні, тестуванні, розгортанні додатків та інфраструктури, які допоможуть іншим командам швидко масштабуватись, взаємодіяти, інтегрувати дані в реальному часі та використовувати машинне навчання у своїх продуктах. Працюючи з нашими клієнтами у відділах Data Science та Content Engineering, а також з нашими колегами у командах із внутрішніх інструментів та інфраструктури, ми забезпечуємо видимість системного рівня та фокусуємося на наших проектах.

Метою клієнта є не повна архітектурна чи дизайнерська досконалість, а вибір правильних компромісів для досягнення балансу між швидкістю, якістю та вартістю.

Опис компанії

KitRUM – це універсальна компанія з розробки програмного забезпечення на замовлення зі штаб-квартирою в сонячній Флориді з центрами розробки в Україні та Польщі.
Завдяки об’єднанню понад 300 першокласних інженерних ресурсів ми допомагаємо керівникам стартапів, що підтримуються венчурним капіталом, і швидкозростаючих технологічних компаній у США, ЄС та Австралії створювати команди розробників програмного забезпечення, укомплектовані талантами найвищого рівня.

Чому ми?

Ми усвідомлюємо, що одна з найголовніших речей для розробників — адекватні клієнти та захоплюючі проекти. Тому ми кваліфікуємо наших клієнтів, щоб пересвідчитися, що вони:
— мають ідею, яка, на їхню думку, зробить світ кращим;
— думайте довгостроково та шукайте надійного технологічного партнера;
— бажаєте покладатися на мікроменеджмент і уникати його;
— не жартуйте ослами :-)

Слідкуйте за нашою командою в Instagram, щоб дізнаватися більше про наше повсякденне життя :)
Ми обожнюємо заводити нових друзів на дошці!