Владимир Крылов: считать LLM предсказателями токенов — техническая безграмотность

Владимир Крылов, доктор технических наук и научный консультант Artezio, дал развёрнутое интервью каналу AI4Dev — и разобрал несколько устойчивых заблуждений, которые продолжают циркулировать в дискуссиях об ИИ.

Один из популярных тезисов: интеллект — это сжатие данных. Его продвигают Илья Суцкевер и последователи Маркуса Хаттера, апеллируя к колмогоровской сложности — теоретической мере длины минимальной программы, способной воспроизвести объект. Крылов с этим подходом не согласен. По его словам, колмогоровская сложность — невычислимая функция, применимая к символьным последовательностям определённой длины. Переносить её на интеллект математически некорректно: у интеллекта нет «длины», нет чёткой области определения, и непонятно, что именно там сжимать. «Мы же не пытаемся вычислить колмогоровскую сложность кирпича или человека», — замечает он.

Отдельный аргумент касается неэргодичности человеческого интеллекта. В теории вероятностей эргодическая система — та, у которой среднее по времени совпадает со средним по ансамблю. Человеческий интеллект таковым не является: у младенца и у учёного в расцвете карьеры он принципиально разный, а усреднение по ансамблю людей даёт нечто совершенно иное, чем усреднение по жизни одного человека. Это делает любые попытки формализовать «средний интеллект» как точку отсчёта для сравнения с ИИ методологически сомнительными.

Часто звучащий упрёк в адрес LLM — что они «просто предсказывают следующий токен» — Крылов называет устаревшим. Такая характеристика была справедлива для GPT-1 и GPT-2, когда API OpenAI так и назывался Completions и модель статистически завершала фразу. Именно тогда возникла концепция «стохастического попугая». Но современные модели проходят несколько этапов после предобучения. Крылов ссылается на слова самого Суцкевера: тот прямо говорил, что повторять мантру о предсказании токенов сегодня — значит быть технически неграмотным.

После предобучения модели «выращиваются» — Крылов намеренно использует биологическую метафору. Метод RLHF (обучение с подкреплением на основе обратной связи от людей) с алгоритмом PPO работает по принципу дрессировки: модель генерирует ответ, разметчик оценивает его, и эта оценка формирует дальнейшее поведение. Фронтирные модели вроде DeepSeek-V3.2 идут дальше, применяя GRPO и DAPO — более современные алгоритмы оптимизации политики, а также вычисления на этапе вывода (inference-time compute), когда модель тратит дополнительные ресурсы непосредственно при генерации ответа.

Наконец, Крылов предлагает переосмыслить само противопоставление «настоящего» и «имитированного» ИИ. Он указывает на терминологическую ловушку: в английском языке artificial pearl означает одновременно и «искусственный жемчуг», и «имитацию жемчуга». Имитация по природе и есть нечто искусственное по отношению к исходному объекту. Попытки провести жёсткую границу между «подлинным» интеллектом и его «имитацией» упираются не в технические факты, а в размытые внутренние предпосылки тех, кто задаёт этот вопрос.

Дискуссия о природе LLM не утихает с момента выхода GPT-3 в 2020 году. Критики — от философа Джона Сёрла с его аргументом «китайской комнаты» до авторов термина «стохастический попугай» — настаивают, что за впечатляющими результатами скрывается лишь сложная интерполяция по многообразию обучающих данных. Сторонники возражают: граница между «запоминанием» и «обобщением» не является строгой математической категорией, а тест Тьюринга — различение человека и машины в диалоге вслепую — современные модели фактически проходят. Крылов занимает промежуточную позицию: он не утверждает, что LLM обладают сознанием, но настаивает на том, что редукция к «предсказателю токенов» описывает лишь механизм предобучения, игнорируя всё, что происходит после.