Инженер по большим данным (переезд на Ближний Восток) за кордоном О должности: < p> Мы ищем талантливых инженеров по большим данным, которые присоединятся к нашей динамичной команде для нового интересного проекта. Это уникальная возможность работать над передовой инициативой, создавая команду с нуля в быстро меняющейся среде. Если вы увлечены технологиями больших данных и готовы к новым задачам, мы хотим услышать ваше мнение! Этот долгосрочный проект требует, чтобы инженеры присоединились как
Инженер по большим данным (переезд на Ближний Восток)
за кордоном
О должности:
< p> Мы ищем талантливых инженеров по большим данным, которые присоединятся к нашей динамичной команде для нового интересного проекта. Это уникальная возможность работать над передовой инициативой, создавая команду с нуля в быстро меняющейся среде. Если вы увлечены технологиями больших данных и готовы к новым задачам, мы хотим услышать ваше мнение!
Этот долгосрочный проект требует, чтобы инженеры присоединились как можно скорее и переехали на Ближний Восток.
Требования:
- Знание Hadoop и экосистемы HDFS.
- Опыт работы в сфере обработки данных не менее 3 лет.
- Обширное знакомство с Cloudera Data Platform и ее компонентами среды выполнения.
- Большой опыт работы с Apache Spark.
- Практический опыт работы с одним или несколькими языками программирования, такими как Python, Go или Java.
- Уверенные базовые знания компьютерного программного обеспечения, включая операционные системы Linux, системы хранения данных, сетевой ввод-вывод и связанные с ними принципы.
- Опыт работы с вычислительными, распределенными системами или системами больших данных (например, Nginx, Kubernetes, Docker, OpenStack, Kafka) является преимуществом.
- Настоятельно желательно иметь хорошую структуру данных и навыки проектирования систем.
Обязанности:
- Контролировать установку, настройку и обслуживание кластеров Hadoop и экосистемы HDFS.
- Обеспечьте целостность и доступность данных в распределенной файловой системе Hadoop.
- Проектируйте, разрабатывайте и обслуживайте масштабируемые конвейеры данных.
- Внедряйте процессы приема данных для эффективного сбора и хранения больших объемов данных.
- Сотрудничайте с учеными и аналитиками данных, чтобы удовлетворить их потребности в данных.
- Управляйте и оптимизируйте платформу данных Cloudera и ее компоненты среды выполнения.
- Отслеживайте производительность системы и устраняйте неполадки, чтобы обеспечить высокую доступность и надежность.
- Разрабатывать и поддерживать приложения Apache Spark для обработки данных.
- Пишите и обслуживайте код на языках программирования, таких как Python, Go или Java.
- Применяйте глубокие базовые знания в области компьютерного программного обеспечения, включая операционные системы Linux, системы хранения данных, сетевой ввод-вывод и связанные с ними принципы.
- Используйте опыт работы с вычислительными, распределенными системами или системами больших данных (например, Nginx, Kubernetes, Docker, OpenStack, Kafka).
- Применяйте надежную структуру данных и навыки проектирования систем для разработки надежных решений.