Старший інженер з даних || Інженер з великих даних @ DCV Global Recruitment в DCV Global Recruitment

Старший інженер з обробки даних: досвід роботи з локальним середовищем Scala, Python або Java та Unix/Linux. Досвід розробки RESTful API за допомогою Java Spring Boot. Практичний досвід створення конвеєрів даних за допомогою компонентів Hadoop (Apache Hadoop, Scala, Apache Spark, YARN, Hive). , SQL) Досвід оптимізації завдань Spark Досвід роботи з базою даних часових рядів/аналітики, наприклад Elasticsearch Досвід роботи зі стандартними галузевими інструментами контролю версій (Git, GitHub) та інструментами автоматизованого розгортання (Ansible & Jenkins) Базові знання сценаріїв оболонки Розуміння методів моделювання великих даних використання реляційних і нереляційних методів Потрібно бути самостійним, проактивним і зосередженим на команді Бажання вчитися і швидко адаптуватися до мінливих вимог Досвід і розуміння SDLC (Життєвий цикл розробки програмного забезпечення) Добре мати: Створення/Оновлення/ Підтримуйте спільну бібліотеку Дженкінса. Розуміння або досвід роботи з шаблонами хмарного проектування Чудові комунікаційні навички Інженер великих даних (Hadoop) Досвід роботи з Python, pySpark і локальним середовищем Unix/Linux Практичний досвід створення конвеєрів даних за допомогою компонентів Hadoop (Apache Hadoop, Apache Spark, YARN, Hive, SQL) Досвід роботи зі стандартними галузевими інструментами контролю версій (Git, GitHub) та автоматизованими інструментами розгортання (Ansible & Jenkins) Досвід оптимізації завдань Spark Базові знання сценаріїв оболонки Розуміння методів моделювання великих даних із використанням реляційних і нереляційних методів Потреби бути самостійним, проактивним і зосередженим на команді. Бажання навчатися та швидко адаптуватися до мінливих вимог. Досвід і розуміння SDLC (Життєвий цикл розробки програмного забезпечення). Уміння працювати з бізнес-користувачами та зацікавленими сторонами команди, такими як керівники проектів та архітектори. Відмінні навички аналізу даних з досвідом роботи з великими та складними наборами даних. Добре знання мови структурованих запитів (SQL). Висока аналітичність з чудовою увагою до деталей. Має досвід аналізу бізнес-вимог і перетворення їх на ефективні функціональні рішення. Відмінне спілкування, як письмове, так і усне (англійською). Доказовий досвід доставки. Сильні навички міжособистісного спілкування та здатність як керувати невеликою командою, так і сприяти їй. Приємно мати: Досвід роботи з базою даних часових рядів/аналітики, наприклад Elasticsearch Досвід у Scala Досвід розробки RESTful API за допомогою Java Spring Boot Знайомство з компонентами хмарної технології (бажано: GCP), [] Вимоги: Scala, REST API, Spring Boot, Конвеєри даних, Spark, Yarn, Hive, SQL, Elasticsearch, Git, GitHub, Ansible, моделювання даних, SDLC, Jenkins, шаблони проектування, навички спілкування, аналіз даних, GCP