Nvidia объявила о начале производства ИИ-ускорителей Groq 3 LPX, разработанных на базе технологий стартапа Groq, лицензированных за $20 млрд. Первым заказчиком стал неоклауд Nebius Аркадия Воложа, сообщает Quartz. Groq 3 LPX — это расширение платформы Nvidia Vera Rubin, предназначенное для ускорения фазы «декодирования» во время инференса — запуска уже обученных моделей и обработки пользовательских запросов.
В тестах Artificial Analysis чип выдал 3400 выходных токенов в секунду на открытой модели Gemma 4 31B при контекстном окне в 100 тысяч токенов. По словам Nvidia, это в четыре раза быстрее «ближайшей альтернативной» платформы. Производством чипов занимается Samsung. Финансовые условия сделки с Nebius не раскрываются, но для Nvidia это возможность закрепиться в сегменте специализированных ускорителей для инференса.
Технологии Groq основаны на архитектуре, оптимизированной для последовательной обработки данных, что критически важно для генерации текста. В отличие от универсальных GPU, такие чипы позволяют сократить задержки и повысить пропускную способность при работе с большими языковыми моделями. Это особенно актуально для облачных провайдеров, которые стремятся снизить стоимость инференса и улучшить пользовательский опыт.
В тестах Artificial Analysis чип показал 3400 выходных токенов в секунду на модели Gemma 4 31B.
Параллельно AMD объявила о покупке канадского стартапа Taalas, который интегрирует ИИ-модели непосредственно в чипы. Такие специализированные процессоры способны выдавать ответы для заданных моделей быстрее традиционных ускорителей. Сумму сделки стороны не раскрыли, но отметили, что это полноценное поглощение, а не покупка технологии или команды, пишет The Register.
Для рынка ИИ-ускорителей это означает усиление конкуренции: Nvidia, доминирующая в сегменте GPU, теперь активно развивает и специализированные решения. Groq 3 LPX может стать важным шагом в этом направлении, особенно если подтвердятся заявленные показатели производительности. Однако пока неизвестно, как чип поведет себя в реальных нагрузках и насколько доступной будет его цена для облачных провайдеров.
Nebius, основанный Аркадием Воложем, уже использует Groq 3 LPX в своей инфраструктуре, что может дать компании конкурентное преимущество в предоставлении услуг ИИ-инференса. Однако детали контракта и объемы поставок не раскрываются. Остается также открытым вопрос, как быстро Nvidia сможет масштабировать производство и удовлетворить спрос со стороны других клиентов.
