Streamlining generative AI development with MLflow v3.10 на Amazon SageMaker AI

Прослушать статью

Сегодня мы рады объявить, что Amazon SageMaker AI MLflow Apps теперь поддерживают MLflow версии 3.10, расширяя возможности для разработки генеративного ИИ и упрощая отслеживание экспериментов в ваших рабочих процессах. Опираясь на фундамент, заложенный Amazon SageMaker AI MLflow Apps, эта версия приносит мощные новые функции для наблюдаемости, оценки и разработки генеративного ИИ, которые помогают дата-сайентистам и ML-инженерам ускорять инициативы в области ИИ от экспериментов до продакшена.

В этом материале мы рассмотрим, что нового в MLflow v3.10, покажем, как начать работу с SageMaker AI MLflow Apps, и расскажем, как использовать эти улучшения для создания приложений генеративного ИИ.

Что нового в MLflow v3.10

MLflow 3.10 представляет набор точечных улучшений в экосистеме MLflow, которые расширяют возможности tracing и наблюдаемости, заложенные в MLflow 3.0, с особым акцентом на разработку приложений генеративного ИИ и agentic workflows. В части генеративного ИИ этот релиз обеспечивает улучшенный tracing для сложных многошаговых диалоговых сценариев, более тесную интеграцию с популярными LLM framework и библиотеками, а также упрощенное логирование взаимодействий и вызовов генеративного ИИ. Оценка также получает существенное обновление благодаря API mlflow.genai.evaluation(), который предоставляет программный интерфейс для систематического измерения и поддержания качества генеративного ИИ на протяжении всего жизненного цикла от разработки до продакшена с встроенными метриками relevance, faithfulness, correctness и safety — все они бесшовно интегрируются с рабочими процессами SageMaker AI.

Улучшения наблюдаемости включают более детальную фильтрацию и поиск трассировок, более богатый сбор метаданных для отладки и root-cause analysis, а также готовые дашборды производительности, которые позволяют с первого взгляда увидеть метрики уровня нагрузки — распределение задержек, количество запросов, оценки качества и использование токенов — без ручной настройки диаграмм. Это дает командам, работающим с продакшен-нагрузками, ясную видимость операционных затрат, а MLflow workspaces предлагают структурированный способ организовывать артефакты MLflow между командами и проектами, как показано ниже.

Эти улучшения в сочетании с SageMaker AI формируют инфраструктуру генеративного ИИ корпоративного уровня, делая простым отслеживание экспериментов, мониторинг производительности генеративного ИИ и поддержание governance для приложений ИИ в масштабе.

Начало работы с SageMaker AI MLflow App v3.10

Для новых пользователей создание SageMaker AI MLflow App не вызывает сложностей и доступно через консоль SageMaker Studio, AWS CLI или API. Конфигурация по умолчанию автоматически разворачивает MLflow 3.10, предоставляя немедленный доступ ко всем последним возможностям.

Вы можете начать работу с полностью управляемым MLflow 3.10 в Amazon SageMaker AI MLflow Apps через AWS Management Console, AWS Command Line Interface (AWS CLI) или API.

Требования

Чтобы начать, вам понадобятся:

Аккаунт AWS с включенным биллингом
Домен Amazon SageMaker Studio AI. Чтобы создать домен, см. Guide to getting set up with Amazon SageMaker AI.

Затем перейдите в консоль Amazon SageMaker AI Studio и выберите приложение MLflow.

Выберите Create MLflow App и введите имя. Здесь для вас уже настроены роль AWS Identity and Access Management (IAM) и корзина Amazon Simple Service (Amazon S3) по значениям по умолчанию домена SageMaker AI Studio. Изменять их нужно только в разделе Advanced settings, если это необходимо, как показано ниже.

После создания вы получите MLflow Amazon Resource Name (ARN) для подключения и сможете сразу начать использовать новый SageMaker AI MLflow App с MLflow v3.10 вместе с вашим существующим кодом либо следовать инструкциям ниже, чтобы подключить код к SageMaker AI MLflow Apps.

Чтобы начать отслеживать эксперименты с только что созданным SageMaker AI MLflow App, необходимо установить в вашей среде и MLflow, и плагин AWS SageMaker MLflow. Вы можете использовать управляемый Jupyter Lab SageMaker Studio, SageMaker Studio Code Editor, локальную интегрированную среду разработки (IDE) или другую поддерживаемую среду, в которой ваши AI workloads работают с SageMaker AI MLFlow Apps.

Чтобы установить оба Python-пакета через pip:

pip install mlflow==3.10.1 sagemaker-mlflow==0.3.0

Чтобы подключиться и начать напрямую записывать ваши AI-эксперименты, параметры и модели в SageMaker AI MLflow Apps, смотрите кодовый фрагмент ниже, чтобы начать работу с вашим workload. Обратите внимание: замените Amazon Resource Name (ARN) на ARN вашего SageMaker AI MLflow App ниже.

Формулы и расчет

import mlflow
# Подключение к вашему SageMaker MLflow App
mlflow_app_arn = "<your-mlflow-app-arn>"
mlflow.set_tracking_uri(mlflow_app_arn)
# Установите ваш эксперимент
mlflow.set_experiment("your_genai_experiment")
# Ваш существующий код продолжает работать с расширенными возможностями
# Новые функции доступны автоматически

Миграция

Если у вас уже есть MLflow Tracking Server или App, размещенный в SageMaker или где-либо еще, вы можете мигрировать на новое приложение 3.10, следуя инструкциям в статье Migrate MLflow tracking servers to Amazon SageMaker AI with serverless MLflow.

Заключение

Появление MLflow v3.10 в Amazon SageMaker AI MLflow Apps — это важный шаг вперед в том, чтобы сделать корпоративную разработку ИИ более эффективной, наблюдаемой и управляемой. Начните работу с Amazon SageMaker AI MLflow Apps, перейдя в Amazon SageMaker AI Studio и создав свое первое MLflow App.

Новая версия MLflow v3.10 также поддерживается в Amazon SageMaker AI serverless model customization и SageMaker Unified Studio, что дает дополнительную гибкость рабочих процессов.

Поделитесь с нами обратной связью через AWS re:Post for SageMaker или через ваши обычные каналы AWS Support.

Материал — перевод статьи с английского.

Оригинал: Streamlining generative AI development with MLflow v3.10 on Amazon SageMaker AI

Подписаться на новости в Telegram