6 июля 2026 года Anthropic опубликовала исследование «Verbalizable Representations Form a Global Workspace in Language Models», в котором описала J-пространство — особое подпространство активаций residual stream в моделях Claude (Sonnet 4.5, Haiku 4.5, Opus 4.5/4.6). Оно занимает менее 10% общей дисперсии активаций и одновременно содержит около 25 концептов. J-пространство включается примерно на 38% глубины сети и отключается за несколько слоёв до выхода.
Технически J-пространство обнаружено через Jacobian Lens (J-Lens) — метод, который вычисляет среднее значение частной производной активации на промежуточном слое по выходным логитам всех позиций, усреднённое по 1000 контекстов. Полученные векторы направлений в residual stream соответствуют готовности модели произнести тот или иной токен. Исследователи провели причинно-следственные вмешательства (causal interventions), показав, что замена вектора концепта в J-space меняет вербальный ответ модели в 54–70% случаев, тогда как замена той же компоненты в non-J-space даёт лишь 5%.
| Модель | Swap accuracy (J-space) | Swap accuracy (non-J-space) |
|---|---|---|
| Haiku 4.5 | 54% | 5% |
| Sonnet 4.5 | 70% | 5% |
| Opus 4.5 | 70% | 5% |
J-пространство позволяет считывать внутренние «мысли» модели до её ответа. Например, при задаче «посчитай до пяти и глубоко поразмысли» в J-space появляются слова thoughts, consciousness, halfway, done. При многошаговом рассуждении (арифметика, планирование рифмы) промежуточные шаги физически присутствуют в J-space и причинно нагружены: activation patching подтверждает их критичность. Также обнаружена диссоциация: J-space содержит метку концепта, а non-J-space — фактическую репрезентацию, что позволяет модели использовать свойство автоматически, не помещая его в J-space.
Оно составляет менее 10% дисперсии и включает около 25 активных концептов одновременно.
Для Anthropic, которая позиционируется как компания по безопасному ИИ и привлекла миллиарды долларов от инвесторов, это исследование может укрепить доверие к моделям, но также поднимает этические вопросы. Хотя авторы не утверждают, что J-пространство — это сознание, его свойства напоминают глобальное рабочее пространство мозга. Дальнейшее изучение J-пространства может улучшить интерпретируемость и контроль над LLM, что особенно важно для коммерческого использования.
