Інженер/архітектор даних (Databricks) в Sphere Partners

26 червня 2024 р

Інженер/архітектор даних (Databriks)

віддалено

Sphere співпрацює з клієнтами, щоб трансформувати їхні організації, впроваджувати технології та процеси у все, що вони роблять, і забезпечити тривалу конкурентну перевагу. Ми поєднуємо міжнародний досвід і місцеве розуміння, щоб допомагати людям і компаніям втілювати їхні амбітні цілі в реальність. У Sphere ми ставимо людей на перше місце та прагнемо бути чинником змін, будуючи краще майбутнє за допомогою інновацій і технологій. Sphere допомагає відомій міжнаціональній компанії впроваджувати інновації та виводити на ринок нові платформи та шукає  інженера/архітектора даних (Databriks) , який приєднається до нашої команди.

< /p> Обов’язки включають, але не обмежуються:

• Співпраця з дослідниками даних, аналітиками та іншими інженерами для проектування та розробки складних конвеєрів прийому даних з використанням різних джерел даних;
• Створення та керування завданнями/робочими процесами Databricks, а також керування доступом до конфіденційних даних;
• Розробка служб, які надають точну та релевантну інформацію залежно від контексту користувача, використовуючи величезні набори даних і різні LLM, включаючи інтеграцію OpenAI;
• Покращення якості відповідей залежно від контексту користувача та використання фреймворків LLM, таких як LlamaIndex і Langchain;
• Написання чистого, ефективного та добре задокументованого коду, який команда може легко підтримувати та розширювати;
• За потреби надайте підтримку критично важливих виробничих систем.

Вимоги:

• Глибокі знання проектування та впровадження конвеєрів даних, включаючи методи перетворення даних, зберігання даних найкращі практики оптимізації та безпеки даних;
• Досвід роботи з Databricks (записні книжки Databricks, робочі процеси, каталог Unity);
• Поглиблені навички SQL і великий досвід роботи з реляційними базами даних, включаючи досвід написання складних запитів і знайомство з різними системами баз даних;
• Досвід роботи з такими інструментами ШІ (Llama, ChatGTP, DBRX), Spark і Python;
• Сертифікація Databricks (бажано);
• Вільне володіння англійською мовою.

Sphere пропонує конкурентоспроможну та винагороджену зарплату та пакет пільг, а також інтелектуально та творчо стимулююче робоче середовище, гнучкість і унікальні можливості для міжнародних поїздок.