Старший інженер з даних в Impressit

Senior Data Engineer віддалено Impressit шукає старшого інженера з даних, який приєднається до команди AI/ML, що працює на повністю автономній торговій платформі AI. Чого ви очікуєте?— Володіння Python для розробки програмного забезпечення. —Досвід роботи з базами даних SQL і NoSQL. — Знайомство з такими методами керування даними, як MapReduce, partitioning і Spark. — Досвід роботи з такими інструментами прийому даних, як Kafka, Flume або Sqoop. — Знання MapReduce для розподіленої обробки даних. —Розуміння техніки розділення бази даних. — Досвід роботи з Apache Spark для великомасштабної обробки даних. — Знайомство з магазином функцій для керування функціями машинного навчання. — Досвід забезпечення інженерної відтворюваності конвеєрів даних. — Вміння писати та виконувати модульні тести. — Досвід обробки помилок для забезпечення відмовостійкості та надійності торгових систем. — Володіння спрямованими ациклічними графіками (DAG) з використанням Airflow або Prefect для оркестровки робочого процесу. — Знайомство з MLFlow для керування експериментами з машинного навчання. — Вміння використовувати Docker для контейнеризації. — Досвід роботи з сервісами AWS, такими як S3 і Lambda, для хмарного розгортання. — рівень англійської мови вище середнього або вищий. — Ступінь бакалавра або вища, бажано за спеціальністю «Інженерія програмного забезпечення» або в суміжній галузі. Що ви будете робити? — Зосереджено на операціях з даними від прийому до розгортання. —Підтримувати та вдосконалювати торгові канали. — Об’єднайте різні джерела даних через API або копіюйте в єдине джерело правди. — Розробити сховище функцій і автоматизувати очищення, обробку, розробку та моніторинг дрейфів функцій. — Розробити лінійку даних для кожної функції, а також забезпечити цілісність функції за допомогою методів відбитків даних. — Робота з пакетними та потоковими даними та зменшення аномалій у даних або прогалин у байдужих джерелах фінансових даних. — Створюйте, обслуговуйте та вдосконалюйте конвеєри даних за допомогою інфраструктур DataOps, MLOps і AIOps. — Робота з повним набором інфраструктури та інтеграції даних і моделей, наприклад SageMaker Studio. А як щодо наших переваг? — Щедрий час відпустки: 24 дні на рік; —бюджет професійної освіти та навчання; —Повне відшкодування податків; —WOW командоутворення; —Офіс в центрі Львова; — оплачувані листки непрацездатності; Ми чекаємо, коли ти приєднаєшся до нашої команди WOW!