DeepSeek-V4-Flash на двух DGX Spark: убрали очередь и получили multi-user

Подготовлено редакцией Malakhov AI

Habr AI·22 июн.·2 минКод

DeepSeek-V4-Flash с 284B параметров развернули на двух DGX Spark (GB10) и добились параллельной работы нескольких пользователей без очереди. Ключевым изменением стало увеличение max-num-seqs с 1 до 8 после включения корректного attention-пути.

Кратко

—Два DGX Spark (GB10, 128 ГБ unified memory) запустили DeepSeek-V4-Flash (284B, ~13B активных на токен) с multi-user режимом.
—Основной фикс — поднятие --max-num-seqs с 1 до 8 и включение sparse-MLA для SM121.
—Prefix caching дал 88% попаданий, а штатная MTP-спекуляция — acceptance 55–64%.
—За 2 часа обработано 220 запросов со средним префиллом 42 565 токенов, пик — 71 tok/s.
—Внешние оптимизации (MRV2, Expert Parallel) не помогли, пришлось адаптировать vLLM под consumer Blackwell.

Глоссарий · 6 терминов▾

MoE (Mixture of Experts): Архитектура нейросети, где из множества специализированных подмодулей (экспертов) для каждого токена активируется только часть, что снижает вычислительную нагрузку.
MLA (Multi-Head Latent Attention): Вариант attention-механизма, сжимающий ключи и значения в низкоразмерное латентное пространство для экономии памяти и ускорения.
MTP-спекуляция (Multi-Token Prediction): Метод, при котором маленькая модель (драфтер) предсказывает несколько следующих токенов, а большая модель проверяет и принимает их, ускоряя генерацию.
DGX Spark: Настольная система NVIDIA на базе GB10 с unified memory (128 ГБ) и compute capability SM121, предназначенная для разработки ИИ.
Prefix caching: Кэширование вычислений для общих префиксов запросов, позволяющее не повторять prefill на одинаковых начальных токенах.
SM121: Compute capability для consumer-чипов NVIDIA Blackwell, имеющая ограниченную поддержку некоторых оптимизаций, доступных на датацентровых версиях.

Инженеры развернули DeepSeek-V4-Flash (284B параметров, ~13B активных на токен, MoE с 256 экспертами) на двух NVIDIA DGX Spark — настольных системах на базе GB10 (Grace-Blackwell, SM121) с unified memory по 128 ГБ на ноду. Целью была параллельная работа исследовательского агента и длительной генерации без очереди. Изначально при двух одновременных запросах скорость генерации падала почти до нуля, поэтому временно запретили параллельность, выставив --max-num-seqs = 1. Это прятало симптом, но не решало проблему.

Диагноз оказался неверным: дело было не в перегрузке GB10 параллельной нагрузкой, а в том, что под SM121 не был включён корректный attention-путь — sparse-MLA. Без него vLLM либо не стартовал, либо сваливался в неподходящий бэкенд. После включения sparse-MLA через переменную VLLM_TRITON_MLA_SPARSE=1 и увеличения max-num-seqs до 8 очередь исчезла. Вторым ключевым изменением стало включение prefix caching (--enable-prefix-caching), критичное для агентных сценариев: ресёрч-агент гоняет один и тот же длинный контекст между шагами, и кэш позволил избежать повторного префилла на 40+ тысяч токенов. В бою доля попаданий в кэш достигла 88%.

Параметр	Значение
Количество запросов за 2 часа	220
Средняя длина промпта	42 565 токенов
Пик running / waiting	4 / 0
KV-кэш (макс.)	44.6%
Пиковая aggregate скорость	71 tok/s
Prefix cache hit rate	88%

Штатная MTP-спекуляция DeepSeek работала стабильно с acceptance 55–64%. Параллелизм — tensor parallel TP=2 на две ноды через QSFP 200G / RoCEv2 / RDMA. Из неработавших подходов: MRV2, Expert Parallel поверх B12X MoE и внешний DFlash-драфтер. Для проверки использовали простой sanity-check: запрос столицы Франции — ответ «Париж» подтверждал связность, а не просто HTTP 200. Результаты: 220 запросов за 2 часа, средний prompt 42 565 токенов, пик 4 running / 0 waiting, KV-кэш до 44.6%, peak aggregate 71 tok/s. Основные выводы: consumer Blackwell (SM121) требует ручной настройки attention-пути, а не работающие из коробки оптимизации датацентрового Blackwell.