Разработчик, ведущий проект в свободное время, представил фреймворк Meta-Spider, реализующий механизм мета-внимания для больших языковых моделей. Идея заключается в том, чтобы через обучаемую сеть-энкодер извлекать из LLM сигнал неуверенности и точечно подавать его обратно на каждом слое, заставляя модель отказываться от ответов, в которых она не уверена. В качестве соавтора фреймворка указан Claude Opus.
Архитектура включает несколько компонентов. Ядро Meta-Core предоставляет функционал для остальных частей. Meta-Loom отвечает за обучение и проверку обвязки. Meta-Agent позволяет использовать модификаторы поведения в агентных сессиях и чатах. Meta-Deploy обеспечивает интеграцию с llama.cpp. Основной модификатор поведения — Doubter (Скептик), который усиливает неуверенность модели, снижая количество ложных ответов.
| Уровень | Что кэшируем | Почему можно | Что даёт |
|---|---|---|---|
| Обучение, Pass-1 | hidden-снимки целевых слоёв (collect) | база заморожена → Pass-1 константен | убирает один полный форвард из каждой эпохи |
| Обучение, низ Pass-2 | cut_hidden = выход layer[cut] | низ без инъекции одинаков в обоих проходах | не считаем нижние ⅔ слоёв |
| Инференс | когнитивные токены + KV-кэш базы | состояние базы не меняется | ускоряет повторные запросы |
Механизм инъекции работает в два прохода. На первом проходе (Pass 1) промпт проходит через замороженную базу, а хуки снимают скрытые состояния с выбранных слоёв. На втором проходе (Pass 2) когнитивные токены, сгенерированные энкодером, подаются через головы перекрёстного внимания и скалярные множители-врата. Для ускорения применяется кэширование: на обучении Pass-1 константен из-за замороженной базы, а нижние слои не пересчитываются во втором проходе. Обвязка обучается на наборе вопросов, где модель должна отказаться от ответа, если не уверена. Градиент течёт через базу, но её веса не меняются — база выступает функцией потерь для обвязки.
Модификатор Doubter усиливает неуверенность модели, заставляя её чаще отказываться от ответа вместо того, чтобы галлюцинировать.
Фреймворк распространяется с открытым исходным кодом. Разработчик отмечает, что это пет-проект, и приглашает специалистов к обратной связи. Готовые обвязки доступны для Qwen-3.5-4b и Granite 4.1 8B.
