На этой неделе OpenAI анонсировала Jalapeño — первый собственный процессор для инференса, разработанный совместно с Broadcom. Чип ориентирован на выполнение запросов к уже обученным моделям и призван снизить зависимость компании от графических процессоров Nvidia. По заявлению OpenAI, Jalapeño всё ещё проходит тестирование, но ранние результаты демонстрируют значительно лучшую производительность на ватт по сравнению с текущими аналогами. При разработке чипа использовались собственные ИИ-модели OpenAI.
Решение OpenAI встроиться в производство специализированных чипов продолжает тенденцию, заданную Google и Amazon, которые уже создали собственные ускорители для машинного обучения. Президент OpenAI Грег Брокман пояснил подход компании: «Мы глубоко понимаем рабочую нагрузку и ищем конкретные задачи, которые недостаточно обеспечены, чтобы построить то, что ускорит возможное». Jalapeño спроектирован исключительно для инференса — этапа выполнения моделей в ответ на пользовательские команды, в отличие от более ресурсоёмкого обучения. В анонсе подчёркивается низкая стоимость эксплуатации чипа при работе с моделями генерации кода в реальном времени. Даже небольшое снижение затрат на инференс может существенно улучшить финансовые показатели OpenAI.
Компания не ограничивается разработкой фронтальных моделей и продуктов на их основе — она проектирует всю инфраструктуру снизу доверху: архитектуру чипа, ядра, системы памяти, сеть, планировщики, системы развёртывания и пользовательский опыт. «Поскольку OpenAI работает на всём стеке, каждый слой может быть оптимизирован вокруг одной цели: сделать модели быстрее, надёжнее и доступнее», — говорится в заявлении. При этом наиболее интенсивные задачи, такие как претрейнинг, вероятно, по-прежнему будут выполняться на оборудовании Nvidia. Переход OpenAI к собственным чипам для инференса — важный шаг в оптимизации экономики ИИ, который, как ожидается, будет происходить на всех уровнях стека.
Чип показывает значительно лучшую производительность на ватт по сравнению с текущими аналогами.
