AWS представила новые возможности для платформы SageMaker HyperPod, ориентированные на корпоративный инференс больших языковых моделей. Ключевые обновления касаются захвата данных, ускорения загрузки моделей и управления инфраструктурой.
Захват данных (data capture) реализован на трёх уровнях: на уровне эндпоинта SageMaker ИИ, на уровне Application Load Balancer и на уровне модельного пода. Каждый уровень можно включать независимо. Уровень эндпоинта позволяет захватывать полные входные и выходные данные на границе Runtime API, что совместимо с SageMaker ИИ Model Monitor. Уровень балансировщика записывает только метаданные запросов — IP-адреса клиентов, пути и задержки. Уровень модельного пода даёт максимальную глубину: фиксируются все запросы и ответы непосредственно у инференс-контейнера, с возможностью настройки дискретизации, буферизации и ограничения размера. Данные сохраняются в S3, причём для каждого развёртывания создаётся уникальный путь. Поддерживается шифрование через AWS KMS.
| Уровень | Точка захвата | Назначение |
|---|---|---|
| Tier 1 – Эндпоинт SageMaker AI | Граница Runtime API | Совместимость с Model Monitor |
| Tier 2 – Application Load Balancer | Балансировщик нагрузки | Метаданные запросов (IP, пути, задержки) |
| Tier 3 – Модельный под | Инференс-контейнер | Полные данные с возможностью настройки дискретизации |
Второе важное нововведение — возможность развёртывать модели напрямую из популярных сообществ, таких как Hugging Face, без предварительной загрузки весов в объектное или файловое хранилище. Поддерживаются гейтированный доступ, фиксация ревизий и изоляция токенов для различных инференс-рантаймов: vLLM, TGI и SGLang. Это ускоряет эксперименты и снижает затраты на хранение.
Развёртывание моделей напрямую из Hugging Face без предварительной загрузки весов с поддержкой гейтированного доступа.
Для повышения производительности HyperPod использует локальное NVMe-хранилище для загрузки весов, что сокращает задержки холодного старта. Если локальное хранилище недоступно, система автоматически переключается на облачное. Также добавлена поддержка автоматического управления DNS-записями через Route 53 — пользователи могут использовать собственные доменные имена без ручной настройки. На уровне безопасности улучшена интеграция с IAM: администраторы могут задавать гранулярные разрешения на уровне пода.
Эти обновления делают SageMaker HyperPod более привлекательным для предприятий, которым требуется высокая наблюдаемость, быстрый старт и тонкий контроль доступа. В условиях роста числа генеративных ИИ-нагрузок такие возможности становятся критическими для production-сред.
