OpenAI и Broadcom анонсировали специализированный чип Jalapeño, выполненный в виде ASIC и предназначенный для инференса больших языковых моделей в дата-центрах. Разработка заняла девять месяцев и велась на основе данных от исследователей OpenAI, включая информацию о будущих моделях и продуктах. По заявлению компаний, Jalapeño демонстрирует существенно лучшую производительность на ватт по сравнению с текущими решениями, однако окончательные измерения ещё не завершены. Подробный технический отчет обещают представить в ближайшие месяцы.
Проблема, которую решает Jalapeño, связана с неэффективностью универсальных GPU-ускорителей при выполнении задач инференса. Современные дата-центры в основном используют графические процессоры, такие как NVIDIA H100, которые изначально разрабатывались для обучения и рендеринга. Специализированные ASIC могут быть оптимизированы под конкретную вычислительную нагрузку, что позволяет снизить энергопотребление и повысить скорость вывода. Broadcom подчёркивает, что чип создавался с «детальным пониманием» потребностей OpenAI, что должно дать преимущество перед аналогами. Интерес к таким чипам растёт на фоне стремительного увеличения масштабов ИИ-нагрузок в дата-центрах.
Несмотря на оптимистичные заявления, остаются вопросы. Компании ещё не опубликовали бенчмарки, а обещанный отчёт появится лишь через несколько месяцев. Кроме того, ASIC-решения менее гибки: если архитектура языковых моделей изменится, чип может устареть быстрее, чем универсальные GPU. Тем не менее, если заявленная эффективность подтвердится, Jalapeño может стать важным шагом в снижении стоимости инференса для крупных ИИ-систем. OpenAI и Broadcom рассматривают это как первый этап долгосрочного проекта по созданию всё более специализированных чипов.
Разработка заняла девять месяцев на основе данных от исследователей OpenAI.
