Инженер по большим данным (переезд на Ближний Восток) в Erbis

О должности:

Мы ищем талантливых инженеров по большим данным, которые присоединятся к нашей динамичной команде для нового интересного проекта. Это уникальная возможность работать над передовой инициативой, создавая команду с нуля в быстро меняющейся среде. Если вы увлечены технологиями больших данных и готовы к новым задачам, мы хотим услышать ваше мнение!

Этот долгосрочный проект требует, чтобы инженеры присоединились как можно скорее и переехали на Ближний Восток.

Требования:

• Знание Hadoop и экосистемы HDFS.
• Опыт работы в области разработки данных не менее 3 лет.
• Обширное знание платформы данных Cloudera и ее компонентов среды выполнения.
• Большой опыт работы с Apache Spark.
• Практический опыт работы с одним или несколькими языками программирования, такими как Python, Go или Java.
• Твердые базовые знания компьютерного программного обеспечения, включая операционные системы Linux. , хранилище, сетевой ввод-вывод и связанные с ними принципы.
• Опыт работы с вычислительными, распределенными системами или системами больших данных (например, Nginx, Kubernetes, Docker, OpenStack, Kafka) является преимуществом.
< li>Настоятельно желательно иметь хорошую структуру данных и навыки проектирования систем.

Обязанности:

• Контроль за установкой, конфигурацией, и обслуживание кластеров Hadoop и экосистемы HDFS.
• Обеспечить целостность и доступность данных в распределенной файловой системе Hadoop.
• Проектировать, разрабатывать и поддерживать масштабируемые конвейеры данных.
• Внедряйте процессы приема данных для эффективного сбора и хранения больших объемов данных.
• Сотрудничайте с учеными по данным и аналитиками для удовлетворения их потребностей в данных.
• Управляйте и оптимизируйте платформу данных Cloudera и ее компоненты среды выполнения.
• Отслеживание производительности системы и устранение неполадок для обеспечения высокой доступности и надежности.
• Разработка и поддержка приложений Apache Spark для обработки данных.
• Письмо. и поддерживать код на языках программирования, таких как Python, Go или Java.
• Применять глубокие базовые знания компьютерного программного обеспечения, включая операционные системы Linux, хранилище, сетевой ввод-вывод и связанные с ними принципы.
• Используйте опыт работы с вычислительными, распределенными системами или системами больших данных (например, Nginx, Kubernetes, Docker, OpenStack, Kafka).
• Применяйте надежную структуру данных и навыки проектирования систем для разработки надежных решений.
Примените надежную структуру данных и навыки проектирования систем для разработки надежных решений. ли>