Inżynier Big Data (relokacja na Bliski Wschód) w Erbis

Informacje o roli:

Szukamy utalentowanych inżynierów Big Data, którzy dołączą do naszego dynamicznego zespołu przy nowym, ekscytującym projekcie. To wyjątkowa okazja, aby pracować nad najnowocześniejszą inicjatywą i budować zespół od podstaw w dynamicznym środowisku. Jeśli pasjonujesz się technologiami Big Data i jesteś gotowy na nowe wyzwanie, czekamy na Twoją wiadomość!

Ten długoterminowy projekt wymaga od inżynierów dołączenia jak najszybciej i przeniesienia się na Bliski Wschód.

Wymagania:

• Biegła znajomość Hadoop i ekosystemu HDFS.
• Co najmniej 3 lata doświadczenia w inżynierii danych.
• Dogłębna znajomość Cloudera Data Platform i jej komponentów wykonawczych.
• Silna wiedza na temat Apache Spark.
• Praktyczne doświadczenie z jednym lub większą liczbą języków programowania, takich jak Python, Go lub Java.
• Solidna podstawowa wiedza na temat oprogramowania komputerowego, w tym systemów operacyjnych Linux , pamięć masowa, operacje we/wy sieci i powiązane zasady.
• Doświadczenie z systemami obliczeniowymi, rozproszonymi lub big data (np. Nginx, Kubernetes, Docker, OpenStack, Kafka) będzie dodatkowym atutem.
< li>Wysoce preferowane posiadanie dobrych umiejętności w zakresie struktury danych i projektowania systemu.

Zadania:

• Nadzorowanie instalacji, konfiguracji, i konserwacja klastrów Hadoop oraz ekosystemu HDFS.
• Zapewnij integralność i dostępność danych w rozproszonym systemie plików Hadoop.
• Projektuj, rozwijaj i utrzymuj skalowalne potoki danych.
• Wdrażaj procesy pozyskiwania danych, aby skutecznie przechwytywać i przechowywać duże ilości danych.
• Współpracuj z badaczami i analitykami danych, aby wspierać ich potrzeby w zakresie danych.
• Zarządzaj platformą danych Cloudera i optymalizuj ją i jego komponenty wykonawcze.
• Monitoruj wydajność systemu i rozwiązuj problemy, aby zapewnić wysoką dostępność i niezawodność.
• Tworzyj i utrzymuj aplikacje Apache Spark do przetwarzania danych.
• Napisz i utrzymuj kod w językach programowania, takich jak Python, Go lub Java.
• Zastosuj solidną, podstawową wiedzę na temat oprogramowania komputerowego, w tym systemów operacyjnych Linux, pamięci masowej, operacji we/wy sieci i powiązanych zasad.
• Wykorzystaj doświadczenie z systemami obliczeniowymi, rozproszonymi lub big data (np. Nginx, Kubernetes, Docker, OpenStack, Kafka).
• Wykorzystaj silne umiejętności w zakresie struktury danych i projektowania systemów, aby opracowywać niezawodne rozwiązania.
li>