Big Data Engineer (переїзд на Близький Схід) в Erbis

Про посаду:

Ми шукаємо талановитих інженерів великих даних, щоб приєднатися до нашої динамічної команди для нового захоплюючого проекту. Це унікальна можливість попрацювати над передовою ініціативою, створити команду з нуля в швидкоплинному середовищі. Якщо ви захоплюєтеся технологіями великих даних і готові до нового виклику, ми хочемо почути вашу думку!

Цей довгостроковий проект вимагає від інженерів якомога швидше приєднатися до Близького Сходу.

Вимоги:

• Досконале володіння Hadoop та екосистемою HDFS.
• Принаймні 3 роки досвіду в розробці даних.
• Глибоке знайомство з платформою даних Cloudera та її компонентами середовища виконання.
• Великий досвід роботи з Apache Spark.
• Практичний досвід роботи з однією чи кількома мовами програмування, як-от Python, Go чи Java.
• Слідні базові знання програмного забезпечення для комп’ютерів, зокрема операційних систем Linux , зберігання, мережевий ввід-вивід і пов’язані принципи.
• Досвід роботи з обчислювальними, розподіленими або системами великих даних (наприклад, Nginx, Kubernetes, Docker, OpenStack, Kafka) є перевагою.
< li>Надзвичайно бажано володіти хорошою структурою даних і навичками проектування системи.

Обов’язки:

• Контроль за налаштуванням, конфігурацією, і технічне обслуговування кластерів Hadoop і екосистеми HDFS.
• Забезпечення цілісності та доступності даних у розподіленій файловій системі Hadoop.
• Проектування, розробка та підтримка масштабованих конвеєрів даних.
• Запроваджуйте процеси прийому даних, щоб збирати й ефективно зберігати великі обсяги даних.
• Співпрацювати з науковцями та аналітиками, щоб задовольняти їхні потреби в даних.
• Керувати та оптимізувати платформу даних Cloudera і її компоненти середовища виконання.
• Моніторинг продуктивності системи та усунення неполадок, щоб забезпечити високу доступність і надійність.
• Розробляти та підтримувати програми Apache Spark для обробки даних.
• Написати. і підтримувати код мовами програмування, такими як Python, Go або Java.
• Застосовувати міцні фундаментальні знання про комп’ютерне програмне забезпечення, зокрема операційні системи Linux, сховище, мережевий ввід-вивід та пов’язані принципи.
• Використовуйте досвід роботи з обчислювальними, розподіленими системами або системами великих даних (наприклад, Nginx, Kubernetes, Docker, OpenStack, Kafka).
• Застосовуйте міцні навички структури даних і проектування систем, щоб розробляти надійні рішення.
li>