YADRO проверил PCIe-версию NVIDIA H100: 700 Вт на карту

Артём Маклаев, инженер YADRO, провёл сравнительное тестирование PCIe-карт NVIDIA H100 Special и эталонных NVIDIA H100 NVL на сервере YADRO G4208P G3. На рынке появились нестандартные PCIe-ускорители на базе чипов H100, предположительно извлечённых из модулей HGX. Для проверки, не уступает ли их производительность оригинальным картам, команда YADRO разработала методику с использованием идентичных серверных платформ, драйверов и операционной системы.

Для тестов использовали сервер YADRO G4208P G3 с восемью слотами под GPU и суммарной мощностью до 4800 Вт. Конфигурации включали четыре карты H100 Special (80 ГБ) и четыре H100 NVL (94 ГБ) с процессорами Intel Xeon Platinum 6430, 2 ТБ RAM и 7 ТБ NVMe. Бенчмарки проводились с фреймворком vLLM версии 0.18 и NCCL all_reduce_perf для оценки GPU-интерконнекта. Использовались модели Qwen3-Coder-30B-A3B-Instruct и Qwen3-Coder-Next с контекстом 128k.

Ключевое наблюдение — энергопотребление карт H100 Special достигает 700 Вт, что вдвое выше типичных 350–400 Вт у H100 NVL. Это создаёт серьёзные требования к системе охлаждения. При тестировании на сервере YADRO G4208P G3, который поддерживает до 600 Вт на слот, карты работали в штатном режиме, но инженеры рекомендуют учитывать этот фактор при проектировании инфраструктуры.

Полные результаты бенчмарков и сравнение производительности можно найти в оригинальной статье на Habr. YADRO предлагает своим клиентам услуги по валидации подобных ускорителей перед внедрением в продуктовый контур.