Инженер по данным/архитектор (Databricks) в Sphere Partners

26 червня 2024 г.

Инженер/архитектор данных (Databriks)

Виддалено

Sphere сотрудничает с клиентами, преобразовывая свои организации, внедряя технологии и процессы во все, что они делают, и обеспечить долгосрочное конкурентное преимущество. Мы объединяем глобальный опыт и местное понимание, чтобы помогать людям и компаниям воплотить свои амбициозные цели в реальность. В Сфере мы ставим людей на первое место и стремимся быть инициаторами перемен, строя лучшее будущее с помощью инноваций и технологий. Sphere помогает известной транснациональной компании внедрять инновации и выводить на рынок новые платформы и ищет  инженера по обработке данных/архитектора (Databriks) , который присоединится к нашей команде.

< /p> В обязанности входит, помимо прочего:

• Сотрудничество с учеными, аналитиками и другими инженерами для проектирования и разработки сложных конвейеров приема данных с использованием различных источников данных;
• Создание заданий и рабочих процессов Databricks и управление ими, а также управление доступом к конфиденциальным данным;
• Разработка сервисов, которые предоставляют точную и актуальную информацию в зависимости от пользовательского контекста с использованием обширных наборов данных и различных LLM, включая интеграцию с OpenAI;
• Повышение качества ответов в зависимости от контекста пользователя и использование фреймворков LLM, таких как LlamaIndex и Langchain;
• Написание чистого, эффективного и хорошо документированного кода, который может легко поддерживаться и расширяться командой;
• Обеспечьте поддержку критически важных производственных систем по мере необходимости.

Требования:

• Хорошие знания в области проектирования и реализации конвейеров данных, включая методы преобразования данных, хранения данных. лучшие практики оптимизации и безопасности данных;
• Опыт работы с Databricks (Databricks Notebooks, рабочие процессы, каталог Unity);
• Продвинутые навыки SQL и обширный опыт работы с реляционными базами данных, включая опыт написания сложных запросов и знание различных систем баз данных;
• Опыт работы с инструментами искусственного интеллекта, такими как (Llama, ChatGTP, DBRX), Spark и Python;
• Сертификация Databricks (предпочтительно);
• Свободный английский.

«Сфера» предлагает конкурентоспособную и достойную заработную плату и пакет льгот, а также интеллектуально и творчески стимулирующую рабочую среду, гибкость и уникальные возможности для международных поездок.