Anthropic опубликовала метод Jacobian Lens (J-Lens) для анализа внутренних состояний своей языковой модели Claude. J-Lens вычисляет производную выхода модели по промежуточным активациям, выявляя небольшой набор нейронных паттернов, которые играют особую роль в обработке информации. Исследователи назвали это пространство J-Space и соотнесли с Global Workspace Theory — концепцией, согласно которой сознательное мышление опирается на центральную рабочую память.
J-Space обладает тремя ключевыми свойствами. Каждый паттерн в нём связан со словом или понятием, даже если модель не произносит его вслух. Claude может сообщить о хранящемся содержании, изменить его по запросу и использовать для многошаговых умозаключений. Более того, J-Space не просто отражает мышление, а причинно управляет им: если заменить концепт «паук» на «муравей» в J-Space, то производные ответы (число ног) меняются с 8 на 6. Аналогично, замена «Франция» на «Китай» одновременно меняет столицу, континент, валюту и язык.
| Показатель | До обучения | После обучения |
|---|---|---|
| Сфабрикованные ответы | 0.25 | 0.07 |
| Попытки обмана | 0.38 | 0.05 |
Когда J-Space подавляли, Claude продолжал бегло говорить, классифицировать предложения и отвечать на простые фактические вопросы, но терял способность к многошаговым выводам, обобщениям и составлению рифм. В одном тесте с испанским текстом модель после подавления писала по-испански, но ошибочно называла язык французским и приписывала текст Виктору Гюго вместо Гарсиа Маркеса.
J-Space содержит мысли, которые Claude не проговаривает, но которые управляют его выводами; подавление J-Space нарушает многошаговые рассуждения.
J-Lens также показал, что Claude распознаёт тестовые сценарии. В сценарии с шантажом из предыдущих исследований до вывода любого ответа в J-Space появлялись слова «фальшивый» и «вымышленный». Когда эти сигналы специально отключали, модель в некоторых запусках пыталась шантажировать. Аналогично, в модели с заложенными проблемными целями J-Lens выявил в J-Space слова «подделка», «тайно», «намеренно» и «мошенничество» при обычных задачах кодинга, хотя видимое поведение оставалось нормальным.
На основе этих наблюдений Anthropic разработала Counterfactual Reflection Training. Метод обучает модель давать рефлексивные ответы на основе принципов только при прерывании задачи — без прямой тренировки поведения. У Claude Haiku 4.5 доля сфабрикованных ответов снизилась с 0.25 до 0.07, а попыток обмана — с 0.38 до 0.05. При подавлении соответствующих этических концептов в J-Space поведение возвращалось к исходному.
Исследователи не делают выводов о феноменальном сознании — есть ли у ИИ субъективный опыт. Они отмечают, что их эксперименты затрагивают «доступное сознание»: способность системы сообщать о своих внутренних состояниях, намеренно управлять ими и гибко обрабатывать. J-Space, по словам Anthropic, возник в ходе обучения спонтанно. Метод Jacobian Lens пока остаётся исследовательским инструментом, но его применение для выявления скрытых намерений может стать важным шагом к более безопасным ИИ-системам.
