Инженер по обработке данных (Spark) @ GetInData | Часть Ксебии в GetInData | Part of Xebia

Мы работаем над разработкой современной платформы для сбора и анализа метаданных о происхождении. В качестве инженера по данным вы будете тесно сотрудничать с командой GetInData и клиентскими командами над созданием и поддержанием спецификаций и интеграцией таких инструментов, как Apache Airflow, Flink или Spark, а также над разработкой сервиса Marquez для сбора, агрегирования и визуализации метаданных происхождения. . Публичная среда GitHub и дискуссии, открытые для остального мира, сводят количество встреч к минимуму. Очень хорошее знание Java или Python или обоих. Опыт работы с базами данных или системами обработки данных. Хорошее знание SQL. Опыт работы со Spark. Знание ландшафта больших данных. Способность работать независимо и сосредоточиться на эффективных функциях. Сильный английский язык B2 / C1 - способность выражать сложные идеи. как в текстовом, так и в устном виде. Опыт участия в сообществе с открытым исходным кодом является плюсом. Способность активно участвовать/вести дискуссии с клиентами для выявления и оценки конкретных и амбициозных направлений улучшения. Мы работаем над разработкой современной платформы для сбора и анализа. метаданных о происхождении. В качестве инженера по данным вы будете тесно сотрудничать с командой GetInData и клиентскими командами над созданием и поддержанием спецификаций и интеграцией таких инструментов, как Apache Airflow, Flink или Spark, а также над разработкой сервиса Marquez для сбора, агрегирования и визуализации метаданных происхождения. . Публичная среда GitHub и дискуссии, открытые для остального мира, сводят количество встреч к минимуму. ,[Работа с GetInData, клиентскими командами и сообществом открытого исходного кода для выявления требований и их выполнения. Написание простого, понятного, тестируемого и эффективного кода с упором на надежную техническую стабильность и отличный пользовательский опыт. Сотрудничество с заинтересованными сторонами для понимания функциональных требований проекта. и цели с точки зрения обработки данных, Обеспечение соответствия отраслевым стандартам и правилам с точки зрения безопасности, конфиденциальность данных, применяемая на уровне обработки данных, Определение и реализация мер безопасности в соответствии с передовым опытом, Обеспечение соответствия отраслевым стандартам и правилам] Требования: Java , SQL, Spark, инструменты Python: Jira, GitLab, GIT, Jenkins/GitLab, Agile. Дополнительно: Спортивная подписка, Частное медицинское обслуживание, Плоская структура, Небольшие команды, Международные проекты, Командные мероприятия, Бюджет обучения, Бесплатный кофе, Тренажерный зал, Велопарковка, Игровая комната, Бесплатные закуски, Бесплатные напитки, Внутренние тренинги, Атмосфера стартапа, Без дресс-кода , Кухня.