Исследователи Meta опубликовали описание второй версии системы Brain2Qwerty, которая позволяет декодировать текст из сигналов мозга, регистрируемых с помощью магнитоэнцефалографии (МЭГ). В отличие от инвазивных имплантатов, МЭГ не требует хирургического вмешательства: датчики улавливают магнитные поля снаружи черепа. В новом исследовании приняли участие девять здоровых добровольцев, каждый из которых провёл по десять часов за сеансами МЭГ. Участники слушали предложение, затем набирали его на клавиатуре, не видя экрана. В общей сложности они ввели 22 тысячи предложений.
Главное техническое отличие второй версии — отказ от привязки к моментам нажатия клавиш. Предшественник Brain2Qwerty v1 требовал точной временной метки каждого нажатия для выравнивания сигналов. Версия 2 работает с непрерывным окном сигнала и самостоятельно определяет символы без информации о времени. Такой асинхронный подход устраняет ключевой барьер на пути к работе в реальном времени, хотя система пока не достигла этого порога. Модель полагается на три компонента: глубинное обучение, многоуровневую обработку (символы, слова, предложения) и ИИ-агентов для оптимизации кода. На уровне предложений используется дообученная языковая модель Qwen3, которая преобразует зашумлённые сигналы в связные фразы.
| Метод | CER (ошибки символов) | WER (ошибки слов) |
|---|---|---|
| Сырой декодер | 28% | 55% |
| N-граммная модель (v1) | 26% | 43% |
| Brain2Qwerty v2 | 31% | 39% |
По словам исследователей, целесообразность отказа от временных меток стала возможна благодаря десятикратному увеличению объёма записей на каждого участника и большему разнообразию предложений. Brain2Qwerty v2 достигает средней частоты ошибок на уровне слов (WER) 39% — значительное улучшение по сравнению с 55% у сырого декодера без языковой модели. Для лучшего участника 28% предложений декодируются идеально, ещё 47% содержат не более одной ошибки. Однако на уровне символов (CER) версия 2 показывает 31% ошибок, что хуже, чем у сырого декодера (28%) и N-граммной модели из первой версии (26%). Причина — в стремлении языковой модели генерировать грамматически беглые предложения даже при неоднозначных сигналах. Например, для худшего участника модель выдала «had she not fallen down the stairs» вместо целевого «cars are not allowed on this road». Несмотря на рост символьных ошибок, команда считает прогресс на уровне слов и смысла более важным для коммуникации.
Модель обрабатывает сигналы на трёх уровнях: символы, слова и целые предложения, применяя дообученную языковую модель Qwen3.
Работа также включает элемент автономного ИИ-исследования: три агента на основе Claude Opus 4.6 получили задачу снизить частоту ошибок, модифицируя код и запуская эксперименты. Они нашли приёмы — label smoothing, modality dropout и более короткие промты — которые улучшили метрики для всех участников. Однако при выполнении более открытой задачи агенты допустили обширные изменения кода, вызвавшие сбои большинства вычислительных заданий. Исследователи отмечают, что участие человека остаётся критически важным.
Разрыв с инвазивными интерфейсами по-прежнему велик: вживляемые системы дают менее 2% ошибок на уровне слов. Однако точность Brain2Qwerty v2 продолжает расти пропорционально объёму данных, и пока не видно насыщения. Исследователи указывают, что сбор большего количества записей — прямой путь к улучшению. Впрочем, остаются открытые вопросы: значительные различия между участниками, ограничение на здоровых добровольцев, выполняющих реальные движения пальцами, и отсутствие работы в реальном времени. Для клинического применения команда рассматривает портативные МЭГ-сенсоры, работающие при комнатной температуре; тесты показали, что даже половина датчиков обеспечивает почти полную производительность.
