NVIDIA расширила платформу NVLink Fusion технологией NVHBM — кастомной высокоскоростной памятью, которая должна ускорить создание полузаказных ИИ-чипов для гиперскейлеров. Анонс сделан на фоне роста числа ИИ-агентов и моделей с триллионами параметров, когда производительность инфраструктуры зависит не только от вычислений, но и от того, как спроектированы память, сеть и ПО.
NVHBM отличается от традиционной архитектуры HBM тем, что контроллер памяти переносится с кристалла XPU в базовый кристалл 3D-стека HBM. Это освобождает до 25% площади вычислительного кристалла, которую можно использовать для дополнительных ядер или кэша. По заявлению NVIDIA, NVHBM обеспечивает до 30% большую пропускную способность памяти и на 15% меньшее энергопотребление по сравнению со стандартной HBM4E. Технология основана на тех же разработках, которые NVIDIA планирует использовать в будущих GPU.
NVIDIA устанавливает стандартную реализацию NVHBM, которую будут выпускать несколько производителей памяти. Это снижает инженерные затраты на интеграцию и квалификацию памяти от разных поставщиков, что дает клиентам NVLink Fusion более быстрый путь к выпуску кастомных ИИ-чипов. Первым партнером станет Annapurna Labs — подразделение Amazon, которое уже сотрудничает с NVIDIA NVLink Fusion. Annapurna Labs будет работать над NVHBM и архитектурой масштабирования NVLink для повышения производительности и эффективности ИИ-нагрузок. Ожидается, что чипы Trainium4 от Annapurna Labs будут поддерживать NVLink Fusion, что позволит чипам Amazon и GPU NVIDIA работать вместе в общей архитектуре уровня стойки.
Технология обеспечивает до 30% большую пропускную способность и на 15% меньшее энергопотребление, чем HBM4E.
NVLink Fusion, представленный NVIDIA ранее, позволяет партнерам подключать кастомные XPU и CPU к платформе масштабирования NVIDIA. Партнеры могут использовать NVLink чиплеты, NVLink-C2C, NVLink Switch и системы MGX, а также экосистему CPU-партнеров, ASIC-дизайнеров и производителей систем. Это позволяет гиперскейлерам и ИИ-компаниям сосредоточиться на инновациях в XPU, используя проверенный стек технологий для сетей и ПО. NVHBM — следующий шаг в этой стратегии, направленный на устранение узких мест в памяти.
Для рынка это означает, что кастомные ИИ-чипы, такие как Trainium от Amazon, смогут получить доступ к передовой памяти без необходимости разрабатывать собственные контроллеры. Это может ускорить появление альтернатив GPU NVIDIA, хотя пока NVIDIA сохраняет контроль над ключевыми технологиями. В то же время стандартизация NVHBM может снизить барьеры для других производителей, желающих создавать ИИ-ускорители.
