Старший інженер Spark - Remote в Link Group

Ми шукаємо досвідченого старшого інженера Spark із глибоким досвідом роботи з Apache Spark, зокрема з налаштування продуктивності та керування циклічними потоками даних Spark. Кандидат повинен володіти досвідом усунення несправностей та оптимізації систем обробки даних у реальному часі, зокрема налаштування оптимізатора Catalyst. Необхідно мати досвід роботи з об’єднаними системами даних і розподіленими обчислювальними середовищами, а також здатність інтегрувати зовнішні системи та API. Роль передбачатиме оптимізацію продуктивності конвеєра Spark у великомасштабних багатохмарних середовищах.

Чому варто приєднатися до нас?

• Станьте частиною перспективної команди, орієнтованої на технології.
• Працювати над передовими розподіленими системами з використанням об’єднаних моделей.
• Співпрацюйте з експертами з хмарних обчислень, великих даних та розробки даних.
• Можливості професійного зростання та постійного навчання.

Необхідні навички та досвід :

• Apache Spark : Розширений досвід налаштування, оптимізації та налаштування Spark Catalyst Optimizer для досягнення максимальної продуктивності.
• Володіння Scala та Java : великий практичний досвід роботи зі Scala та Java у розподілених системах на основі Spark.
• Об’єднані моделі даних : перевірений досвід керування системами об’єднаних даних у багатохмарних середовищах (наприклад, AWS, GCP, Azure).
• Розподілені обчислення : Глибоке розуміння принципів розподілених обчислень, включаючи планування завдань, управління ресурсами, відмовостійкість і оптимізацію кластера.
• Оптимізація продуктивності : продемонстрований досвід оптимізації конвеєрів Spark для великомасштабних систем великого обсягу.
• Інтеграція API : досвід інтеграції Spark зі сторонніми системами та API для оптимізації робочих процесів даних.
• Розробка інтерфейсу : базові та середні навички розробки інтерфейсу для співпраці над створенням панелей моніторингу для систем Spark.
• Розробка програмного забезпечення : сильні основи програмування, досвід керування версіями (Git) і чітке розуміння конвеєрів CI/CD.

Бажані кваліфікації :

• Досвід роботи з Kubernetes для керування кластерами Spark у контейнерних середовищах.
• Знайомство з хмарними платформами, такими як AWS, GCP або Azure.
• Знання SQL та інтеграції бази даних із Spark.
• Досвід роботи з інструментами для великих даних (наприклад, Hadoop, Kafka), що використовуються разом із Spark.

Ми шукаємо досвідченого старшого інженера Spark із глибоким досвідом роботи з Apache Spark, зокрема в налаштування продуктивності та керування циклічними потоками даних Spark. Кандидат повинен володіти досвідом усунення несправностей та оптимізації систем обробки даних у реальному часі, включаючи налаштування оптимізатора Catalyst. Необхідно мати досвід роботи з об’єднаними системами даних і розподіленими обчислювальними середовищами, а також здатність інтегрувати зовнішні системи та API. Роль передбачатиме оптимізацію продуктивності конвеєра Sparkу великомасштабних багатохмарних середовищах.

Чому варто приєднатися до нас?

• Будьте частиною перспективної, технічної команди.
• Працювати над передовими розподіленими системами з використанням об’єднаних моделей.
• Співпрацюйте з експертами з хмарних обчислень, великих даних та розробки даних.
• Можливості професійного зростання та постійного навчання.

,[Досвід роботи з Apache Spark: використовуйте глибокі знання Spark, включаючи налаштування продуктивності, оптимізацію запитів і налаштування оптимізатора Catalyst для розподілених систем., Federated Data Systems : Розробка, впровадження та керування робочими процесами даних у об’єднаних моделях у багатохмарних середовищах. Оптимізація продуктивності: діагностика та усунення вузьких місць у завданнях Spark, забезпечення масштабованої та ефективної продуктивності на великих кластерах. Розподілені обчислення: керування кластерами Spark, контроль за плануванням завдань , розподіл ресурсів і забезпечення відмовостійкості в розподілених середовищах. Інтеграція API: з’єднайте програми Spark із зовнішніми системами та API для покращення робочих процесів обробки даних. Розробка Scala та Java: застосовуйте сильні навички Scala та Java для створення, підтримки та оптимізації розподілені додатки в режимі реального часу в Spark. Співпраця на передньому плані: працюйте з розробниками зовнішнього вигляду та групами даних для створення та розгортання інтерфейсів користувача для моніторингу продуктивності конвеєра Spark. CI/CD і контроль версій: розробляйте та керуйте конвеєрами CI/CD. для забезпечення надійних методів розробки програмного забезпечення, контролю версій і автоматизованого розгортання для розподілених програм.] Вимоги: Apache Spark, Spark, Scala, Java, Data Models, Distributed computing, API, Front-End Development, Git, CI/CD Pipelines, Kubernetes , AWS, GCP, Azure, SQL, Big Data, Hadoop, Kafka Інструменти: Agile, Scrum.