Старший инженер по данным || Инженер по большим данным @ DCV Global Recruitment в DCV Global Recruitment

Старший инженер по данным: опыт работы с Scala, Python или Java и локальной средой Unix/Linux. Опыт разработки RESTful API с использованием Java Spring Boot. Практический опыт создания конвейеров данных с использованием компонентов Hadoop (Apache Hadoop, Scala, Apache Spark, YARN, Hive). , SQL) Опыт оптимизации заданий Spark Опыт работы с базами данных временных рядов/аналитики, такими как Elasticsearch Опыт работы со стандартными отраслевыми инструментами контроля версий (Git, GitHub) и инструментами автоматического развертывания (Ansible и Jenkins) Базовые знания сценариев оболочки Понимание методов моделирования больших данных использование реляционных и нереляционных методов. Необходимо быть инициативным, инициативным и ориентированным на команду. Желание учиться и быстро адаптироваться к меняющимся требованиям. Опыт и понимание SDLC (жизненного цикла разработки программного обеспечения). Хорошо иметь: Создание/обновление/ Поддержка общей библиотеки Jenkins. Понимание или опыт работы с шаблонами облачного проектирования. Отличные коммуникативные навыки. Инженер по большим данным (Hadoop). Опыт работы с локальными средами Python, pySpark и Unix/Linux. Практический опыт построения конвейеров данных с использованием компонентов Hadoop (Apache Hadoop, Apache Spark, YARN, Hive, SQL) Опыт работы со стандартными инструментами контроля версий (Git, GitHub) и инструментами автоматического развертывания (Ansible и Jenkins) Опыт оптимизации заданий Spark Базовые знания сценариев оболочки Понимание методов моделирования больших данных с использованием реляционных и нереляционных методов. Требования. быть инициативным, инициативным и ориентированным на команду. Желание учиться и быстро адаптироваться к меняющимся требованиям. Опыт и понимание SDLC (жизненный цикл разработки программного обеспечения). Способность работать с бизнес-пользователями и заинтересованными сторонами команды, такими как менеджеры проектов и архитекторы. Отличные навыки анализа данных и опыт работы с большими и сложными наборами данных. Хорошее знание языка структурированных запросов (SQL). Обладает аналитическим складом ума и вниманием к деталям. Опыт анализа бизнес-требований и превращения их в эффективные функциональные решения. Отличное общение, как письменное, так и устное (на английском языке). Наглядный опыт доставки. Сильные навыки межличностного общения и способность руководить и вносить свой вклад в небольшую команду. Приятно иметь: Опыт работы с базами данных временных рядов/аналитики, такими как Elasticsearch Опыт работы в Scala Опыт разработки RESTful API с использованием Java Spring Boot Знакомство с компонентами облачных технологий (предпочтительно: GCP), [] Требования: Scala, REST API, Spring Boot, Конвейеры данных, Spark, Yarn, Hive, SQL, Elasticsearch, Git, GitHub, Ansible, Моделирование данных, SDLC, Jenkins, Шаблоны проектирования, Коммуникационные навыки, Анализ данных, GCP