Amazon Web Services обновила управляемый сервис MLflow на платформе SageMaker AI до версии 3.10. Обновление затрагивает инструменты наблюдаемости, оценки качества и трассировки — три области, которые становятся узкими местами при переводе генеративных ИИ-приложений из экспериментов в продакшн.
MLflow — это open-source платформа для управления жизненным циклом ML-моделей: она позволяет логировать эксперименты, версионировать модели и отслеживать метрики. Amazon SageMaker AI MLflow Apps — управляемая версия этой платформы, которая избавляет команды от самостоятельного развёртывания и обслуживания инфраструктуры. Версия 3.10 развивает архитектурные решения, заложенные в MLflow 3.0, с акцентом на генеративный ИИ и агентные рабочие процессы.
Центральное нововведение — API mlflow.genai.evaluation(). Он предоставляет программный интерфейс для систематического измерения качества генеративных моделей по четырём встроенным метрикам: релевантность (насколько ответ соответствует вопросу), достоверность (faithfulness — не противоречит ли ответ контексту), корректность и безопасность. Все метрики интегрированы с рабочими процессами SageMaker AI, что позволяет встраивать оценку непосредственно в CI/CD-пайплайны без написания дополнительного кода.
Новый API mlflow.genai.evaluation() измеряет релевантность, достоверность, корректность и безопасность ответов модели.
Трассировка в 3.10 получила поддержку сложных мультиходовых диалогов и агентных цепочек — сценариев, где модель последовательно вызывает инструменты или другие модели. Предыдущие версии MLflow хуже справлялись с отладкой таких цепочек: было сложно понять, на каком шаге возникла ошибка. Теперь доступны более детальная фильтрация и поиск по трейсам, а также расширенный захват метаданных для анализа первопричин сбоев.
На уровне наблюдаемости появились преднастроенные дашборды производительности. Они автоматически отображают распределение задержек, количество запросов, оценки качества и потребление токенов — без ручной конфигурации графиков. Для команд, которые следят за операционными расходами на LLM-вызовы, это снижает время на настройку мониторинга. MLflow Workspaces добавляют структурированный способ организации артефактов по командам и проектам.
Подключение к новой версии занимает несколько команд: установка пакетов mlflow==3.10.1 и sagemaker-mlflow==0.3.0, затем указание ARN созданного приложения в качестве tracking URI. Существующий код продолжает работать без изменений — новые возможности становятся доступны автоматически. Для тех, кто уже использует более старые версии MLflow на SageMaker, AWS предоставила инструкцию по миграции. Версия 3.10 также поддерживается в SageMaker Serverless Model Customization и SageMaker Unified Studio.
