Старший инженер данных в Lyft

30 сентября 2024 г.

Старший инженер по обработке данных

Киев, удалено

Наша миссия в Lyft — улучшать жизнь людей с помощью лучшего в мире транспорта. Для этого мы начинаем с нашего собственного сообщества, создавая открытую, инклюзивную и разнообразную организацию.

В Lyft данные — это единственный способ принимать решения. Это основа нашего бизнеса, которая помогает нам создавать транспортные возможности для наших клиентов и дает представление об эффективности запуска и функций наших продуктов.

Будучи инженером по обработке данных в Lyft, вы станете частью команды на начальном этапе, которая создает механизмы транспортировки, сбора и хранения данных, а также предоставляет услуги, которые делают данные первоклассными в Lyft. Мы ищем инженера по обработке данных для создания масштабируемой платформы данных. Вы будете активно предлагать новые идеи, оценивать различные подходы и выбирать лучший на основе фундаментальных качеств и подтверждающих данных. Обсуждайте высокотехнологичные проблемы, работая вместе с нашей межфункциональной командой. Вы будете владеть нашим основным конвейером данных, который определяет основные показатели Lyft; Вы также будете использовать свой опыт работы с данными, чтобы помочь в разработке моделей данных в нескольких компонентах стека данных; Вы поможете спроектировать, построить и запустить масштабируемые конвейеры данных для поддержки растущих потребностей Lyft в обработке и аналитике данных. Ваши усилия позволят получить доступ к информации о бизнесе и поведении пользователей, используя огромные объемы данных Lyft для поддержки различных команд, таких как аналитика, обработка данных, инженерия и многие другие.

Обязанности:

• Владею основным конвейером данных компании, отвечаю за масштабирование потока обработки данных для удовлетворения быстрого роста данных в Lyft.
• Развивать модель и схему данных на основе деловых и инженерных потребностей.
• Внедрить и внедрить системы отслеживания качества и согласованности данных.
• Предлагать и разрабатывать инструменты, поддерживающие самообслуживаемое управление конвейером данных (ETL)< /li>
• Настройка заданий SQL и MapReduce для повышения производительности обработки данных.
• Разработайте техническую дорожную карту команды DE и согласуйте ее с командой и заинтересованными сторонами.
• Создавайте хорошо продуманные, хорошо продуманные решения. -проверенный, читаемый и поддерживаемый код с учетом затрат на инфраструктуру данных и масштабируемости.
• Участвуйте в проверках кода, чтобы обеспечить качество кода и распространять знания.
• Участвуйте в ротации по вызову, чтобы обеспечить высокую доступность. и надежность рабочих процессов и данных
• Разблокировка, поддержка и общение с внутренними и внешними партнерами для достижения результатов

Опыт:

• 5 + лет соответствующего профессионального опыта.
• Большой опыт работы с Spark.
• Опыт работы с экосистемой Hadoop (или аналогичной), S3, DynamoDB, MapReduce, Yarn, HDFS, Hive, Spark, Presto, Pig. , HBase, Parquet
• Хорошие навыки владения языком сценариев (Python, Bash и т. д.).
• Опыт построения сложных моделей данных и конвейеров.
• Знание at. хотя бы один из языков SQL (MySQL, PostgreSQL и т. д.)
• 4+ года опыта работы с инструментами управления рабочими процессами (Airflow или аналогичные)
• Опыт непосредственной работы с кросс-функциональными данными аналитики, специалисты по обработке данныхи группы инженеров для сочетания бизнес-целей Lyft с разработкой данных.
• Желателен опыт создания и обслуживания таблиц данных, связанных с обслуживанием клиентов, в качестве инженера данных в крупных организациях

Преимущества:

• Новейшие технологии и необходимое оборудование
• 28 календарных дней отпуска и до 5 оплачиваемых выходных
• 18 недель оплачиваемого отпуска по уходу за ребенком. Биологические, приемные и приемные родители имеют право на участие
• Пособия по психическому здоровью
• Пособия по созданию семьи

Эта роль полностью удалена в Украине, кандидаты на эта роль должна базироваться в Украине.