Инженер по эксплуатации машинного обучения в Solvd Inc

12 весеннего 2024 г.

Инженер по эксплуатации машинного обучения

Киев, удалено

Solvd Inc. — ведущая компания по разработке программного обеспечения. У нас 8 офисов по всему миру и более 800 международных сотрудников. Обладая более чем 12-летним опытом, высококвалифицированными командами по всему миру и глубокими отраслевыми знаниями, мы помогаем клиентам создавать программное обеспечение, которое улучшает их деятельность и открывает новые рынки. Мы создали впечатляющий список корпоративных клиентов, занимающихся цифровыми технологиями, включая некоторые крупнейшие бренды в сфере розничной торговли и социальных сетей.

Мы ищем опытного инженера по эксплуатации машинного обучения , который присоединится к нашей динамичной команде.

На этой должности вы будете отвечать за управление инфраструктурой машинного обучения и развертывание моделей в производственных средах. Вы будете работать с такими инструментами, как AWS, AWS CloudFormation, AWS SageMaker и платформой Databricks, включая каталог Unity, для оптимизации и обслуживания наших комплексных конвейеров машинного обучения.

Основные обязанности:

• Управление инфраструктурой машинного обучения: Проектирование, управление и обслуживание масштабируемой инфраструктуры машинного обучения с использованием сервисов AWS, таких как EC2, SageMaker, S3, и шаблоны CloudFormation.
• Развертывание моделей. Автоматизируйте развертывание моделей машинного обучения в рабочей среде с помощью AWS SageMaker и Databricks, обеспечивая непрерывную доступность и производительность.
• Автоматизация CloudFormation. Используйте AWS CloudFormation, чтобы определить и подготовить инфраструктуру для рабочих нагрузок машинного обучения, обеспечивая инфраструктуру в соответствии с лучшими практиками кода.
• Управление данными и управление. Используйте Databricks Unity Catalog для управления данными, их безопасности и соответствия требованиям, гарантируя высокое качество данных и оптимизируя процессы обучения моделей.
• Мониторинг и оптимизация. Внедряйте и отслеживайте модели в производственной среде с помощью таких инструментов, как AWS CloudWatch и решения для мониторинга Databricks. Устраните узкие места производительности и обеспечьте точность модели с течением времени.
• Сотрудничество с группами обработки данных. Тесно сотрудничайте с учеными и инженерами по работе с данными, чтобы оптимизировать рабочие процессы разработки и производства моделей, обеспечивая бесперебойное сотрудничество.
• Автоматизированные конвейеры машинного обучения . Создавайте и обслуживайте конвейеры CI/CD для моделей машинного обучения с помощью AWS и Databricks. Обеспечьте постоянное тестирование, мониторинг и переобучение моделей при необходимости.

Требуемые навыки:

• Знание AWS: Хорошее знание сервисов AWS, включая AWS SageMaker, CloudFormation, EC2, S3, и КлаудВотч.
• CloudFormation: Опыт создания, управления и автоматизации ресурсов AWS с использованием шаблонов AWS CloudFormation.
• Опыт работы с Databricks: Знание платформы Databricks и каталога Unity, а также способность управлять крупномасштабными конвейерами данных и обеспечивать производительность модели в масштабе.
• Развертывание машинного обучения. Проверенный опыт развертывания моделей машинного обучения в производственных средах с использованием AWS SageMaker и Databricks.
• Конвейеры CI/CD: Глубокое понимание конвейеров CI/CD и контроля версий, особенно в контексте моделей машинного обучения.
• Навыки программирования: Хорошие навыки программирования на Python, а также знание библиотек машинного обучения, таких как TensorFlow, PyTorch и scikit-learn.
• Мониторинг и ведение журнала: Опыт настройки и управления мониторингом и ведением журналов для производственных моделей, отслеживанием производительности и обнаружением аномалий.
• Образ мышления DevOps: Знание принципов DevOps и автоматизации инфраструктуры, опыт использования Docker, Kubernetes или других инструментов контейнеризации/оркестрации.