В июне 2026 года независимый исследователь под ником Fakeonomics опубликовал результаты двухнедельных экспериментов с двумя архитектурами: тернарным Kolmogorov-Arnold Network и системой символьного рассуждения на основе Vector-Symbolic Architecture. Обе модели умещаются в 15–16 КБ и не требуют GPU.
Kolmogorov-Arnold Networks — альтернатива классическим многослойным перцептронам (MLP), предложенная в 2024 году. В отличие от MLP, где обучаемые параметры — это веса рёбер, в KAN обучаются сами функции активации на рёбрах графа. Это даёт более компактные и интерпретируемые модели при сопоставимой точности. До этой работы все реализации KAN использовали веса в формате FP32 или 4-битное квантование — ниже 4 бит никто не опускался.
| Модель | Веса | Размер | MNIST | Fashion-MNIST |
|---|---|---|---|---|
| GraphKAN 256→100→10 | float | 15,4 КБ | 94,77% | 84,1% |
| GraphKAN 256→100→10 | ternary {-1,0,+1} | 15,4 КБ | 96,15% | 86,68% |
| MLP 256→100→10 | float | 106,8 КБ | ~93% | — |
Ternary GraphKAN использует веса из трёх значений: {-1, 0, +1}, что соответствует 1,58 бита на параметр. Модель с архитектурой 256→100→10 содержит 79 800 параметров, упакованных в 15,4 КБ: четыре тернарных значения кодируются в один байт uint8. На датасете MNIST она набирает 96,15% — на 1,38 процентного пункта больше, чем float-версия той же архитектуры (94,77%). На Fashion-MNIST разрыв сохраняется: 86,68% против 84,1%. При этом float-MLP с аналогичной структурой занимает 106,8 КБ и показывает около 93% на MNIST.
Обучение проходит в четыре фазы QAT (quantization-aware training): сначала веса зажимаются в диапазон [-1, 1], затем применяется STE-тернаризация с float-градиентами на обратном проходе, после — жёсткая фиксация значений, и наконец дообучаются только масштаб и смещение. Неожиданный эффект: точность росла на каждом этапе квантования — +1,01%, +0,31%, +0,06%. Автор объясняет это регуляризующим действием дискретных весов, которые отсекают шум в градиентах. В опубликованной литературе по KAN такой эффект ранее не описывался.
Вторая разработка — VSA-Reasoner — решает другую задачу: многошаговое логическое рассуждение без языковой модели. Vector-Symbolic Architecture кодирует факты как векторы высокой размерности и оперирует ими через связывание (bind) и суперпозицию (bundle). Метод дёшев и интерпретируем, но имеет фундаментальное ограничение: при объединении более ~12 фактов в один вектор возникает шум суперпозиции, и точность поиска падает до 80% независимо от размерности — хоть D=1024, хоть D=8192.
Для преодоления этого ограничения автор собрал пайплайн из трёх learned-компонентов. Предикатно-шардированная память разбивает факты по предикатам, удерживая не более ~12 фактов на шард. Нейронный резонатор (16 КБ, тернарные веса) итеративно уточняет VSA-запрос за пять шагов тернарного матричного умножения и поднимает точность с 80% до 93%. Контроллер на основе float32 MLP выбирает нужный предикат, а ChainScorer на базе Transformer оценивает кандидатов через beam search шириной 1–3.
На тестовом наборе из 96 фактов, 53 сущностей и 30 запросов система достигает 90% общей точности: 100% на одношаговых и двухшаговых цепочках, 70% на трёхшаговых. Чистый VSA без резонатора справляется только с одношаговыми задачами (90%), полностью проваливая 2-hop и 3-hop (0%). Вся система занимает менее 62 КБ и работает на CPU.
Оба компонента — GraphKAN и резонатор — используют одинаковый 4-фазный QAT и одну схему упаковки весов. Тернарный формат оказался универсальным: те же 2 бита работают и для аппроксимации функций в KAN, и для итеративного уточнения символьных запросов. Исходный код остаётся закрытым; на GitHub опубликованы только обзорные репозитории.
