NVIDIA представила Dynamo — open‑source фреймворк для оркестрации распределённого инференса языковых моделей, ориентированный на агентные сценарии. Dynamo приходит на смену Triton Inference Server, который стал стандартом для инференса различных моделей, но не учитывал специфику работы агентов, характерную для 2025–2026 годов.
Ключевая проблема, которую решает Dynamo, — неэффективное управление KV‑кэшем в агентных системах. В классическом чат‑запросе (single‑shot) после завершения диалога KV‑кэш освобождается, и память используется максимально эффективно. В агентных же сценариях используется паттерн ReAct‑loop: генерация текста, вызов внешнего инструмента, приём результата, продолжение LLM с новым контекстом. Паузы между шагами заставляют стандартные механизмы управления кэшем (например, LRU‑eviction) вытеснять префикс из GPU‑памяти, что при следующем шаге требует полного пересчёта prefill, удваивая вычисления. Кроме того, KV‑кэш привязан к конкретному GPU: если разные шаги агента попадают на разные устройства, происходит промах кэша, а передача кэша между узлами слишком дорога.
| Параллельные сессии | Без маршрутизатора (round‑robin), TTFT p90 (мс) | KV‑маршрутизатор, TTFT p90 (мс) | Снижение TTFT |
|---|---|---|---|
| 1 | 89 | 95 | ≈ нет |
| 20 | 269 ± 12 | 225 ± 24 | ~16% |
| 40 | 492 ± 15 | 326 ± 62 | ~34% |
Dynamo предлагает распределённую архитектуру с несколькими ключевыми компонентами. Маршрутизатор (Router) решает, на какой GPU отправить запрос, учитывая местоположение существующего KV‑кэша. Поддерживается разделение процесса инференса на prefill и decode (disaggregated serving): один GPU занимается построением контекста и KV‑кэша, другой — генерацией токенов. Это позволяет лучше загружать оборудование и повышать пропускную способность кластера. Для ускоренной передачи KV‑блоков между воркерами используется NIXL (NVIDIA Inference Xfer Library), работающий поверх NVLink и InfiniBand. Также в Dynamo встроены Agent Hints — механизм, позволяющий агентскому фреймворку сообщать серверу инференса о структуре задачи, чтобы избежать преждевременного вытеснения кэша.
Агентные сценарии (ReAct‑loop) создают паузы, из‑за которых KV‑кэш вытесняется из GPU, что приводит к повторному prefill и росту задержек.
На практике Dynamo обещает существенно снизить задержки в агентных сценариях за счёт минимизации промахов кэша и эффективного распараллеливания этапов инференса. Сейчас фреймворк доступен как open‑source, что позволяет исследователям и разработчикам интегрировать его с существующими движками (vLLM, SGLang) и адаптировать под свои кластеры. В статье на Хабре автор проверила KV‑роутинг в домашних условиях, но конкретные цифры прироста в предоставленном отрывке не приведены; тем не менее архитектурные преимущества Dynamo очевидны для многоузловых систем с агентными нагрузками.
