Старший інженер з великих даних в Brainence

Senior Big Data Engineer віддалено Aboutus Brainence — це компанія з розробки програмного забезпечення з понад 7-річним досвідом створення потужних продуктів і масштабування команд розробників. Ми співпрацюємо з понад 50 стартапами та підприємствами, допомагаючи їм створювати їх MVP, збільшувати їхні команди інженерів і успішно запускати їхні продукти. Наш досвід охоплює такі галузі, як охорона здоров’я, наукові технології, нерухомість, роздрібна торгівля, будівництво, логістика, страхування тощо. Про проект Brainence зараз шукає старшого інженера з великих даних, щоб приєднатися до нашої команди. Ви працюватимете на єдиній рекламній платформі SaaS, яка об’єднує медіапланування та купівлю. Його технологія автоматизації подорожей оптимізує процеси планування та купівлі та надає статистику в реальному часі, створюючи єдине рішення для цифрової реклами та оптимізуючи рекламні бюджети. Обов’язки ● Проектування, розробка та підтримка великомасштабних рішень обробки даних за допомогою Apache Spark і Scala ● Розробка конвеєрів ETL для обробки, очищення та перетворення даних із різних джерел ● Оптимізація завдань Spark для продуктивності та масштабованості ● Розробка та підтримка API для полегшення доступу до даних та інтеграція ● Забезпечення точності, узгодженості та повноти даних у всьому каналі даних ● Співпраця з науковцями з обробки даних, аналітиками та іншими багатофункціональними командами, щоб зрозуміти вимоги до даних і надати високоякісні рішення Вимоги ● 5+ років досвіду програмування Scala та розробки Spark ● Глибоке розуміння архітектури та внутрішніх елементів Spark ● Досвід роботи з розподіленими обчислювальними технологіями (наприклад, Hadoop, Hive, Kafka) ● Досвід роботи з технологіями баз даних і SQL ● Досвід розробки та використання API ● Тверде розуміння систем моніторингу даних, оповіщення та журналювання Деталі роботи ● Довгостроковий проект: 1 рік або більше ● Випробувальний термін: так, перевірка через три місяці ● Віддалена робота: так, з можливістю роботи на місці у Львові ● Графік роботи: повний робочий день із гнучким графіком роботи ● Зарплата: виплачується до 10 числа кожного місяця в доларах США Ми пропонуємо ● 18 днів оплачуваної відпустки ● 10 оплачуваних лікарняних ● 2 неоплачуваних вихідних на місяць ● Гнучкий графік роботи з можливістю віддаленої роботи по всьому світу ● Комфортне офісне приміщення з паркуванням та невиїзним масажистом, лише за 5 хвилин від центру Львова ● Необхідне обладнання або компенсація за обладнання в розмірі 200$ на рік ● Бухгалтерські послуги ● Дисконтна карта Lviv ITCluster