Інженер даних (Spark) @ GetInData | Частина Xebia в GetInData | Part of Xebia

Ми працюємо над розробкою сучасної платформи для збору та аналізу метаданих походження. Як інженер з обробки даних ви тісно співпрацюватимете з командами GetInData та клієнтами над розробкою та підтримкою специфікацій та інтеграцій для таких інструментів, як Apache Airflow, Flink або Spark, а також над розробкою сервісу Marquez для збору, агрегації та візуалізації метаданих походження. . Публічні середовища GitHub і відкриті для решти світу дискусії обмежують кількість зустрічей до мінімуму. Дуже добре знання Java або Python, або обох Досвід роботи з базами даних або системами обробки даних Добре знання SQL Досвід роботи з Spark Знання ландшафту великих даних Здатність працювати самостійно та зосереджуватися на вражаючих функціях Сильна англійська B2/C1 - здатність висловлювати складні ідеї як у тексті, так і в мовленні. Досвід участі в спільноті з відкритим кодом є плюсом. Здатність брати активну участь/вести дискусії з клієнтами, щоб визначити й оцінити конкретні й амбітні шляхи вдосконалення. Ми працюємо над розробкою сучасної платформи для збору та аналізу метаданих походження. Як інженер з обробки даних ви тісно співпрацюватимете з командами GetInData та клієнтами над розробкою та підтримкою специфікацій та інтеграцій для таких інструментів, як Apache Airflow, Flink або Spark, а також над розробкою сервісу Marquez для збору, агрегації та візуалізації метаданих походження. . Публічні середовища GitHub і відкриті для решти світу дискусії обмежують кількість зустрічей до мінімуму. ,[Робота з командами GetInData та клієнтами та спільнотою відкритих вихідних кодів для визначення вимог і їх виконання. Написання простого, зрозумілого, перевіреного та ефективного коду з акцентом на надійну технічну стабільність і чудову взаємодію з користувачем. Співпраця із зацікавленими сторонами для розуміння функціональних вимог проекту і цілі з точки зору обробки даних, забезпечення дотримання галузевих стандартів і правил щодо безпеки, конфіденційності даних, що застосовуються на рівні обробки даних, визначення та впровадження заходів безпеки відповідно до найкращих практик, забезпечення відповідності галузевим стандартам і правилам] Вимоги: Java , SQL, Spark, інструменти Python: Jira, GitLab, GIT, Jenkins / GitLab, Agile. Додатково: спортивний абонемент, приватне медичне обслуговування, плоска структура, невеликі команди, міжнародні проекти, командні заходи, бюджет тренувань, безкоштовна кава, тренажерний зал, паркування велосипедів, ігрова кімната, безкоштовні закуски, безкоштовні напої, внутрішні тренінги, стартова атмосфера, без дрес-коду , Кухня.