Претензии к языковым моделям за «враньё» и игнорирование контекста стали общим местом в дискуссиях об ИИ. Инженеры отвечали принципом GIGO — garbage in, garbage out, — затем начали внедрять RAG (retrieval-augmented generation), чтобы «заземлить» модель на проверенные источники. Однако клинический психолог, работающий с когнитивными нарушениями у людей, предлагает другую рамку: возможно, галлюцинации LLM — не математический баг, а точная копия механизма, встроенного в человеческое мышление.
Автор приводит бытовой пример: человеку дают чёткую инструкцию выбрать одно из двух имён — «Ольга» или «Алёна». В ответ тот называет третье — «Лена». С точки зрения когнитивной науки здесь происходит constraint violation: удерживать рамки задачи с помощью префронтальной коры метаболически дорого, поэтому Система 1 — быстрое, автоматическое мышление по Канеману — сбрасывает исходный промпт, уходит в ассоциативную базу и выдаёт токен с наибольшим статистическим весом. Алёна → Елена → Лена. Искренне и без осознания. В психологии это называется jumping to conclusions — прыжок к выводам, одно из классических когнитивных искажений.
LLM при галлюцинации воспроизводит ту же механику: модель обучена предсказывать наиболее вероятное продолжение, и когда входной контекст содержит противоречие или редкое сочетание условий, она «соскальзывает» к статистически привычному паттерну, игнорируя ограничения промпта. Разработчики раздражаются, когда модель вместо «да» или «нет» начинает рассуждать — но именно так ведёт себя человек, которому задали неудобный вопрос с жёсткими рамками ответа.
Механизм называется jumping to conclusions: Система 1 обходит дорогостоящий контроль префронтальной коры и берёт токен с наибольшим ассоциативным весом.
РАГ решает часть проблемы: он подтягивает релевантные факты и снижает вероятность фактических ошибок. Но он не меняет базовую логику вероятностного предсказания, лежащую в основе трансформерной архитектуры. Если галлюцинации — это не дефект реализации, а следствие самого принципа работы модели, то математически устранить их без изменения архитектуры невозможно. Это открытый вопрос в исследовательском сообществе.
Автор материала подчёркивает: её профессиональная подготовка — работа с когнитивными искажениями и бредовыми конструкциями у пациентов — сформировала привычку спокойно указывать на несоответствие, а не реагировать на него эмоционально. Это не превосходство клинициста над инженером, а разница в «прошивке»: навык видеть баг мышления и не принимать его за истину. Именно такой навык авторы рекомендуют развивать пользователям LLM — воспринимать модель не как оракула, а как собеседника, склонного к jumping to conclusions, которому иногда нужно сказать: «непонятно — спроси».
