На недавнем выступлении в Стэнфордском университете генеральный директор OpenAI Сэм Альтман выступил с резкой критикой в адрес исследователей, десятилетиями недооценивавших потенциал масштабирования больших языковых моделей (LLM). По его словам, целое поколение ученых было «слишком уверено в том, чего масштабирование не может сделать», и тем самым сдерживало прогресс. Альтман подчеркнул, что ставка против масштабирования LLM сейчас выглядит «весьма ошибочной».
Дискуссия о пределах масштабирования моделей ИИ — одна из центральных в отрасли. Скептики, такие как Ян Лекун из Meta, называют LLM «тупиком» и указывают на необходимость альтернативных подходов. Однако Альтман утверждает, что данные говорят об обратном. В качестве ключевого аргумента он привел недавний случай: модель OpenAI опровергла математическую гипотезу, которая долгое время ставила в тупик ученых. «Ясно, что LLM способны открывать новые знания», — заявил Альтман. Он также сослался на аналогичные замечания главы Anthropic Дарио Амодеи.
Вместе с тем Альтман признал существующие ограничения. Для долгосрочных задач с высокими требованиями к суждению, по его словам, LLM «выглядят гораздо хуже людей». Это признание важно, поскольку снимает излишний оптимизм и указывает на области, где требуется дальнейшее развитие. Таким образом, позиция Альтмана сочетает уверенность в продолжении масштабирования с осознанием границ текущей парадигмы. Он также отметил, что «тролли из Twitter», годами предсказывающие провал OpenAI, его не беспокоят.
В качестве аргумента он привел недавний случай, когда модель OpenAI опровергла математическую гипотезу, над которой долго бились ученые.
