Amazon SageMaker ИИ добавил интеграцию с MLflow для автоматической передачи результатов бенчмарков и оптимизированных рекомендаций по инференсу. Теперь при запуске задачи бенчмарка или рекомендации SageMaker ИИ сам пишет метрики, параметры и графики в выбранное MLflow-приложение. Это устраняет необходимость вручную собирать логи из разных запусков — данные сразу оказываются в едином интерфейсе для сравнения.
До этого командам, оптимизирующим инференс генеративных моделей, приходилось вручную перебирать десятки типов GPU-инстансов, контейнеров для serving, стратегий параллелизма и техник вроде speculative decoding. Каждый эксперимент требовал записи конфигурации и метрик, а сравнение результатов превращалось в долгий процесс с таблицами и скриптами. Новая интеграция с MLflow автоматизирует этот workflow: достаточно указать имя эксперимента в конфигурации задачи, и SageMaker ИИ начнёт стримить данные в реальном времени.
| Permission area | Required access |
|---|---|
| SageMaker job execution | AmazonSageMakerFullAccess, or a scoped equivalent |
| MLflow integration | sagemaker-mlflow:*, sagemaker:CallMlflowAppApi, sagemaker:DescribeMlflowApp |
| Endpoint invocation | sagemaker:InvokeEndpoint, sagemaker:InvokeEndpointWithResponseStream |
| S3 output | Read/write access to the configured output bucket |
Среди ключевых преимуществ — мониторинг долгих задач: метрики задержки и пропускной способности обновляются по мере тестирования каждой конфигурации. Если throughput оказывается ниже ожидаемого, задачу можно остановить досрочно. Кроме того, интеграция обеспечивает полную воспроизводимость: каждый запуск фиксирует параметры, временные метки и артефакты, которые остаются доступными для анализа месяцами. Для команд, работающих над оптимизацией, общий эксперимент в MLflow становится единым источником истины, снижая дублирование усилий.
Интеграция позволяет сравнивать конфигурации (типы инстансов, стратегии параллелизма) без ручной обработки.
В техническом примере рассматривается модель Qwen/Qwen2-0.5B-Instruct, развёрнутая на инстансе ml.g6.12xlarge. Задача бенчмарка оценивает производительность существующего эндпоинта для лёгкого чат-бота, а задача рекомендации подбирает оптимальную конфигурацию для более тяжёлого сценария с длинными промптами. Оба задания пишут результаты в один эксперимент MLflow, что позволяет сравнить их бок о бок без дополнительной обработки данных.
