Старший инженер по искрообразованию – удаленно в Link Group

Мы ищем очень опытного старшего инженера Spark с глубокими знаниями в Apache Spark, особенно в области настройки производительности и управления циклическими потоками данных Spark. Кандидат должен обладать навыками устранения неполадок и оптимизации систем обработки данных в реальном времени, включая настройку Catalyst Optimizer. Опыт работы с федеративными системами данных и распределенными вычислительными средами обязателен, а также способность интегрировать внешние системы и API. Эта роль будет включать оптимизацию производительности конвейера Spark в крупномасштабных мультиоблачных средах.

Зачем присоединяться к нам?

• Станьте частью дальновидной и высокотехнологичной команды.
• Работайте над передовыми распределенными системами с использованием федеративных моделей.
• Сотрудничайте с экспертами в области облачных вычислений, больших данных и инженерии данных.
• Возможности профессионального роста и непрерывного обучения.

Требуемые навыки и опыт :

• Apache Spark : расширенный опыт настройки, оптимизации и настройки оптимизатора Spark Catalyst Optimizer для достижения максимальной производительности.
• Знание Scala и Java : Большой практический опыт работы со Scala и Java в распределенных системах на базе Spark.
• Модели федеративных данных : подтвержденный опыт управления системами федеративных данных в мультиоблачных средах (например, AWS, GCP, Azure).
• Распределенные вычисления : Глубокое понимание принципов распределенных вычислений, включая планирование задач, управление ресурсами, отказоустойчивость и оптимизацию кластера.
• Оптимизация производительности . Подтвержденный опыт в оптимизации конвейеров Spark для крупномасштабных систем большого объема.
• Интеграция API . Опыт интеграции Spark со сторонними системами и API для оптимизации рабочих процессов с данными.
• Внешняя разработка : базовые и средние навыки в области внешней разработки для совместной работы над созданием панелей мониторинга для систем Spark.
• Разработка программного обеспечения : Уверенные основы программирования, опыт работы с контролем версий (Git) и четкое понимание конвейеров CI/CD.

Предпочтительная квалификация :

• Опыт работы с Kubernetes для управления кластерами Spark в контейнерных средах.
• Знакомство с облачными платформами, такими как AWS, GCP или Azure.
• Знание SQL и интеграции баз данных со Spark.
• Опыт работы с инструментами обработки больших данных (например, Hadoop, Kafka), используемыми вместе со Spark.

Мы ищем очень опытного старшего инженера Spark с глубокими знаниями в Apache Spark, особенно в настройка производительности и управление циклическими потоками данных Spark. Кандидат должен обладать навыками устранения неполадок и оптимизации систем обработки данных в реальном времени, включая настройку Catalyst Optimizer. Опыт работы с федеративными системами данных и распределенными вычислительными средами важен, а также способность интегрировать внешние системы и API. Эта роль будет включать оптимизацию производительности конвейера Spark.работа в крупномасштабных мультиоблачных средах.

Зачем присоединяться к нам?

• Станьте частью дальновидной, высокотехнологичной команды.
• Работайте над передовыми распределенными системами с использованием федеративных моделей.
• Сотрудничайте с экспертами в области облачных вычислений, больших данных и инженерии данных.
• Возможности профессионального роста и непрерывного обучения.

,[Опыт работы с Apache Spark: используйте глубокие знания Spark, включая настройку производительности, оптимизацию запросов и настройку Catalyst Optimizer для распределенных систем., Federated Data Systems. Оптимизация производительности: диагностика и устранение узких мест в заданиях Spark, обеспечение масштабируемой и эффективной производительности в больших кластерах. Распределенные вычисления: управление кластерами Spark, контроль планирования задач. , распределение ресурсов и обеспечение отказоустойчивости в распределенных средах. Интеграция API: подключение приложений Spark к внешним системам и API для улучшения рабочих процессов обработки данных. Разработка Scala и Java: применение сильных навыков в Scala и Java для создания, обслуживания и оптимизации. Распределенные приложения в реальном времени в Spark. Внешнее сотрудничество: работа с внешними разработчиками и группами обработки данных для создания и развертывания пользовательских интерфейсов для мониторинга производительности конвейера Spark. CI/CD и контроль версий: разработка конвейеров CI/CD и управление ими. для обеспечения надежных методов разработки программного обеспечения, контроля версий и автоматического развертывания распределенных приложений.] Вимоги: Apache Spark, Spark, Scala, Java, модели данных, распределенные вычисления, API, интерфейсная разработка, Git, конвейеры CI/CD, Kubernetes. , AWS, GCP, Azure, SQL, Big Data, Hadoop, Kafka. Инструменты: Agile, Scrum.