Старший інженер з даних в Lyft

30 серпня 2024 р

Senior Data Engineer

Київ, віддалено

Наша місія в Lyft — покращувати життя людей за допомогою найкращого у світі транспорту. Щоб зробити це, ми починаємо з нашої власної спільноти, створюючи відкриту, інклюзивну та різноманітну організацію.

Тут, у Lyft, дані є єдиним способом прийняття рішень. Це основа нашого бізнесу, допомагаючи нам створювати зручність транспортування для наших клієнтів, а також надавати розуміння ефективності запуску наших продуктів і функцій.

Як інженер із обробки даних у Lyft, ви станете частиною команди на ранньому етапі, яка розробляє транспортування, збір і зберігання даних, а також надає послуги, які роблять дані першокласним громадянином у Lyft. Ми шукаємо інженера з обробки даних для побудови масштабованої платформи даних. Ви завчасно пропонуватимете нові ідеї, оцінюватимете численні підходи та вибиратимете найкращий на основі фундаментальних якостей і підтверджуючих даних. Повідомляйте про надзвичайно технічні проблеми, працюючи разом із нашою міжфункціональною командою. Ви матимете право власності на наш основний канал даних, який забезпечує основні показники Lyft; Ви також будете використовувати знання даних, щоб допомогти розвинути моделі даних у кількох компонентах стеку даних; Ви допоможете розробити, побудувати та запустити масштабовані канали даних для підтримки зростаючих потреб Lyft у обробці даних і аналітиці. Ваші зусилля дозволять отримати доступ до статистичних даних про бізнес і поведінку користувачів, використовуючи величезні обсяги даних Lyft для підтримки різних команд, таких як Analytics, Data Science, Engineering та багато інших.

Обов’язки:

• Володіти основним каналом даних компанії, відповідати за збільшення потоку обробки даних, щоб відповідати швидкому зростанню даних у Lyft
• Розвивайте модель даних і схему даних на основі ділових і інженерних потреб
• Впроваджуйте та адаптуйте системи відстеження якості та узгодженості даних
• Пропонуйте та розробляйте інструменти для підтримки самообслуговування конвеєрів даних (ETL)< /li>
• Налаштування завдань SQL і MapReduce для покращення продуктивності обробки даних
• Керуйте технічною картою команди DE та узгоджуйте її з командою та зацікавленими сторонами
• Створюйте добре продуману, добре -перевірений, читабельний код, який можна підтримувати, з урахуванням вартості інфраструктури даних і масштабованості
• Участь у перевірках коду, щоб забезпечити якість коду та поширення знань
• Участь у ротаціях за викликом, щоб забезпечити високу доступність і надійність робочих процесів і даних
• Розблокуйте, підтримуйте та спілкуйтеся з внутрішніми та зовнішніми партнерами для досягнення результатів

Досвід:

• 5 + роки відповідного професійного досвіду
• Великий досвід роботи з Spark
• Досвід роботи з Hadoop (або подібною) екосистемою, S3, DynamoDB, MapReduce, Yarn, HDFS, Hive, Spark, Presto, Pig , HBase, Parquet
• Сильні навички мови сценаріїв (Python, Bash тощо)
• Досвід створення складних моделей даних і конвеєрів
• Володіння на принаймні одна з мов SQL (MySQL, PostgreSQL тощо)
• 4+ роки досвіду роботи з інструментами керування робочим процесом (Airflow або подібні)
•  Досвід безпосередньої роботи з міжфункціональними даними аналітика, дослідники даних
• Бажаний досвід створення та підтримки таблиць даних, пов’язаних із обслуговуванням клієнтів, як інженер даних для великих організацій

Переваги: ​​

• Новітні технології та обладнання, які вам потрібні
• 28 календарних днів для відпустки та до 5 оплачуваних вихідних
• 18 тижнів оплачуваної відпустки по догляду за дитиною. Біологічні, прийомні та прийомні батьки мають право на це.
• Пільги на психічне здоров’я
• Пільги на створення сім’ї

Ця роль повністю віддалена в Україні, кандидати на ця посада має бути в Україні.