OpenAI Jalapeño: собственный чип для инференса, обошедший NVIDIA Blackwell

Подготовлено редакцией Malakhov AI

Habr AI·вчера·2 минКод

OpenAI представила на Hot Chips собственный ASIC-чип Jalapeño для инференса LLM, разработанный совместно с Broadcom за 16 месяцев. По данным бенчмарков SemiAnalysis, чип превосходит NVIDIA Blackwell по производительности на ватт почти во всех сценариях.

Кратко

—OpenAI разработала чип Jalapeño для инференса LLM совместно с Broadcom, цикл разработки составил около 16 месяцев.
—По данным бенчмарков SemiAnalysis, Jalapeño превосходит NVIDIA Blackwell по производительности на ватт почти во всех сценариях.
—Чип универсален и не специализирован под модели OpenAI, что опровергает распространенное мнение.
—Jalapeño использует HBM4 и демонстрирует более 700 токенов в секунду на пользователя при concurrency 1 на DeepSeek R1.
—Результаты бенчмарков предоставлены OpenAI, полный набор InferenceX не запускался, что оставляет вопросы для независимой проверки.

Глоссарий · 6 терминов▾

ASIC: Специализированная интегральная схема, разработанная для конкретной задачи, в отличие от универсальных процессоров.
Tapeout: Финальный этап проектирования чипа, после которого начинается производство.
HBM4: Четвертое поколение High Bandwidth Memory — типа памяти с высокой пропускной способностью, используемой в GPU и ASIC.
Perf/W: Производительность на ватт — метрика эффективности чипа, показывающая, сколько операций выполняется на единицу энергии.
Multi Token Prediction (MTP): Техника предсказания нескольких токенов за раз, используемая для ускорения инференса.
Speculative decoding: Метод ускорения инференса, при котором модель предсказывает несколько токенов, а затем проверяет их.

OpenAI представила на конференции Hot Chips собственный ASIC-чип Jalapeño, предназначенный для инференса больших языковых моделей. Чип разработан в партнерстве с Broadcom, работа над дизайном началась в середине 2024 года, а до tapeout прошло около 16 месяцев. Это чрезвычайно быстрый цикл для ASIC, что подтверждает тезис о том, что ИИ ускоряет проектирование чипов. По данным SemiAnalysis, Jalapeño превосходит по производительности на ватт все протестированные чипы NVIDIA, AMD и Google на нескольких открытых моделях, включая DeepSeek R1, Kimi-K2.5 и GPT-OSS.

Вопреки ожиданиям, Jalapeño не является узкоспециализированным чипом под модели OpenAI. OpenAI создала универсальный чип для инференса, способный эффективно работать с разнообразными моделями и нагрузками. Это достигается за счет тесного совместного проектирования аппаратного и программного обеспечения. В спецификациях чип использует HBM4, что ставит его в один ряд с флагманскими GPU NVIDIA и AMD. В тестах InferenceX Jalapeño показал более 700 токенов в секунду на пользователя при concurrency 1 на DeepSeek R1, а на других моделях — около 1400 ток/с/пользователя. При этом результаты достигаются без Multi Token Prediction, speculative decoding и разделения prefill/decode.

Показатель	Jalapeño	NVIDIA Blackwell
Perf/W (относительно)	Выше	Ниже
Пропускная способность на МВт	Лидирует	Отстает
Поддержка HBM	HBM4	HBM3e
Специализация	Универсальный	Универсальный

Однако есть существенные оговорки. Все цифры предоставлены OpenAI, и хотя SemiAnalysis лично проверил запуски InferenceX в лаборатории, полный набор бенчмарков не запускался, а результаты AgentX не были показаны. AgentX — более реалистичный набор тестов, учитывающий длинный контекст и multi-turn сценарии, которые сильнее нагружают кэш и инфраструктуру. Одноходовые тесты 8k1k могут не выявить проблем в реальных production-нагрузках. Кроме того, сравнение с Blackwell считается неполным, так как не учитывает все SKU и конфигурации. Тем не менее, Jalapeño демонстрирует впечатляющие результаты, что может изменить расстановку сил на рынке ИИ-чипов, где доминирует NVIDIA.