Enterprise-агенты, выполняющие многошаговые операции — запросы к базам данных, вызовы API, перекрёстную верификацию — требуют обучения, учитывающего последовательность действий. Стандартный RLHF (reinforcement learning from human feedback) оптимизирует отдельные ответы в отрыве от контекста, что ведёт к ошибкам на длинных цепочках. Amazon предложил решение этой проблемы на базе multi-turn RL, развёртываемое на платформе SageMaker HyperPod.
Архитектура включает три вычислительных уровня. Кластер SageMaker HyperPod на P5-инстансах генерирует ответы модели и применяет метод GRPO (Group Relative Policy Optimization) для обновления весов на основе сигналов вознаграждения. Окружение вознаграждения работает на ECS Fargate в виде контейнеров-воркеров: они получают ответы модели через SQS, оценивают их по заданной метрике (например, в демонстрации используется игра Wordle) и возвращают reward. Маршрутизацию между моделью и окружением обеспечивает Nova Forge SDK, отслеживающий состояние диалога на протяжении всех шагов. Оркестрация запуска осуществляется через Step Functions, триггером служит загрузка данных в Amazon S3.
| Parameter | Description |
|---|---|
| project_tag | Unique prefix for all resource names (for example, my-nova-rl“. Becomes part of your EKS cluster name, HyperPod cluster name, and S3 bucket tags. |
| sdk_resource_prefix | Prefix for SDK-created resources (for example, nrl-myproject). The Nova Forge SDK uses this when naming its CloudFormation stacks, Lambda functions, and SQS queues. |
Развёртывание разделено на две фазы. Первая — однократное развёртывание с помощью AWS CDK, создающее долгоживущую основу (VPC, EKS/HyperPod, ECS, S3, IAM и пайплайн). Вторая — для каждого цикла обучения запускаются эфемерные ресурсы, что позволяет избежать простоя GPU между запусками. Такой подход удешевляет эксплуатацию, но стоимость активного кластера остаётся значительной: от $786 до $1 180 в час для 10–12 инстансов ml.p5.48xlarge. AWS рекомендует уничтожать стек по окончании работы.
Инфраструктура включает три уровня: HyperPod для генерации и GRPO, ECS Fargate для окружения вознаграждения и Nova Forge SDK для маршрутизации.
Неопределённость связана с экономической эффективностью такого решения для большинства предприятий. Пользователь должен самостоятельно создавать окружение вознаграждения и настраивать reward-функции под свою задачу, что требует экспертизы в RL. Кроме того, для работы необходима подписка на Amazon Nova Forge и квота на требуемые GPU-инстансы. Решение подходит компаниям с развитыми командами ML, готовыми инвестировать в дорогие обучение в обмен на качество работы агентов.
На фоне конкурентов — открытых инструментов вроде RLlib или собственных решений на базе PyTorch — SageMaker HyperPod предлагает полностью управляемую инфраструктуру с встроенной GRPO и серверлесс reward-окружением, что снижает операционные издержки, но не уменьшает счёт за compute.
