Starszy inżynier Spark – zdalny w Link Group

Poszukujemy starszego inżyniera Spark z dużą wiedzą specjalistyczną w zakresie Apache Spark, szczególnie w dostrajaniu wydajności i zarządzaniu cyklicznymi przepływami danych Spark. Kandydat powinien biegle rozwiązywać problemy i optymalizować systemy przetwarzania danych w czasie rzeczywistym, w tym dostosowywać Catalyst Optimizer. Niezbędne jest doświadczenie w pracy ze stowarzyszonymi systemami danych i rozproszonymi środowiskami obliczeniowymi, a także umiejętność integracji systemów zewnętrznych i interfejsów API. Rola będzie obejmować optymalizację wydajności potoku Spark w dużych środowiskach wielochmurowych.

Dlaczego warto do nas dołączyć?

• Bądź częścią myślącego przyszłościowo zespołu napędzanego technologią.
• Pracuj na najnowocześniejszych systemach rozproszonych, korzystając z modeli stowarzyszonych.
• Współpracuj z ekspertami w dziedzinie przetwarzania w chmurze, dużych zbiorów danych i inżynierii danych.
• Możliwości rozwoju zawodowego i ciągłego uczenia się.

Wymagane umiejętności i doświadczenie :

• Apache Spark : zaawansowane doświadczenie w dostrajaniu, optymalizacji i dostosowywaniu narzędzia Spark Catalyst Optimizer w celu uzyskania maksymalnej wydajności.
• Znajomość języków Scala i Java : duże, praktyczne doświadczenie w zakresie języków Scala i Java w systemach rozproszonych opartych na platformie Spark.
• Stowarzyszone modele danych : udokumentowane doświadczenie w zarządzaniu stowarzyszonymi systemami danych w środowiskach wielochmurowych (np. AWS, GCP, Azure).
• Przetwarzanie rozproszone : głębokie zrozumienie zasad przetwarzania rozproszonego, w tym planowania zadań, zarządzania zasobami, odporności na awarie i optymalizacji klastrów.
• Optymalizacja wydajności : udokumentowana wiedza specjalistyczna w zakresie optymalizacji potoków Spark dla dużych systemów o dużej objętości.
• Integracja API : poznaj integrację platformy Spark z systemami i interfejsami API innych firm w celu usprawnienia przepływu danych.
• Programowanie front-endu : umiejętności podstawowe i średniozaawansowane w zakresie programowania front-endu umożliwiające współpracę przy tworzeniu pulpitów monitorujących dla systemów Spark.
• Tworzenie oprogramowania : solidne podstawy programowania, doświadczenie w kontroli wersji (Git) i solidne zrozumienie potoków CI/CD.

Preferowane kwalifikacje :

• Doświadczenie z Kubernetesem w zarządzaniu klastrami Spark w środowiskach kontenerowych.
• Znajomość platform chmurowych, takich jak AWS, GCP lub Azure.
• Znajomość SQL i integracji baz danych ze Spark.
• Doświadczenie z narzędziami Big Data (np. Hadoop, Kafka) używanymi wraz ze Sparkiem.

Poszukujemy starszego inżyniera Spark z dużą wiedzą specjalistyczną w zakresie Apache Spark, szczególnie w dostrajanie wydajności i zarządzanie cyklicznymi przepływami danych Spark. Kandydat powinien biegle rozwiązywać problemy i optymalizować systemy przetwarzania danych w czasie rzeczywistym, w tym dostosowywać Catalyst Optimizer. Niezbędne jest doświadczenie w pracy ze stowarzyszonymi systemami danych i rozproszonymi środowiskami obliczeniowymi, a także umiejętność integracji systemów zewnętrznych i interfejsów API. Rola będzie polegać na optymalizacji wydajności potoku Sparkdziałanie w dużych środowiskach wielochmurowych.

Dlaczego warto do nas dołączyć?

• Bądź częścią myślącego przyszłościowo zespołu napędzanego technologią.
• Pracuj na najnowocześniejszych systemach rozproszonych, korzystając z modeli stowarzyszonych.
• Współpracuj z ekspertami w dziedzinie przetwarzania w chmurze, dużych zbiorów danych i inżynierii danych.
• Możliwości rozwoju zawodowego i ciągłego uczenia się.

,[Doświadczenie w zakresie Apache Spark: Wykorzystaj dogłębną wiedzę o platformie Spark, w tym dostrajanie wydajności, optymalizację zapytań i dostosowywanie Catalyst Optimizer do systemów rozproszonych., Federated Data Systems : Projektuj, wdrażaj i zarządzaj przepływami pracy danych w ramach modeli stowarzyszonych w środowiskach wielochmurowych. Optymalizacja wydajności: diagnozuj i eliminuj wąskie gardła w zadaniach Spark, zapewniając skalowalną i wydajną wydajność w dużych klastrach. Przetwarzanie rozproszone: zarządzaj klastrami Spark, nadzoruj planowanie zadań , alokację zasobów i zapewnienie odporności na awarie w środowiskach rozproszonych. Integracja API: Połącz aplikacje Spark z systemami zewnętrznymi i interfejsami API w celu usprawnienia przepływów pracy przetwarzania danych., Rozwój w Scala i Java: Wykorzystaj silne umiejętności w zakresie Scali i Java do tworzenia, utrzymywania i optymalizacji rozproszone aplikacje w czasie rzeczywistym w Spark. Współpraca z front-endem: Współpraca z programistami front-end i zespołami zajmującymi się danymi w celu tworzenia i wdrażania interfejsów użytkownika do monitorowania wydajności potoków Spark., CI/CD i kontrola wersji: opracowywanie potoków CI/CD i zarządzanie nimi aby zapewnić niezawodne praktyki tworzenia oprogramowania, kontrolę wersji i automatyczne wdrażanie aplikacji rozproszonych.] Вимоги: Apache Spark, Spark, Scala, Java, modele danych, przetwarzanie rozproszone, API, rozwój front-end, Git, CI/CD Pipelines, Kubernetes , AWS, GCP, Azure, SQL, Big Data, Hadoop, Kafka Technologie: Agile, Scrum.