Диффузионные модели, успешно применяемые для генерации изображений, при работе с текстом и кодом сталкиваются с ограничениями: механизм самокоррекции в маскированной диффузии работает хуже из-за фиксации выбранных токенов. 09 Июля 2026 исследователи из НИУ ВШЭ и лаборатории научных исследований «Т-Технологий» представили метод G-Star+ (Guided Star-Shaped sampler), решающий эту проблему. Он действует как «внутренний редактор»: находит подозрительные токены, повторно маскирует их и позволяет модели переписать проблемные места на более поздних шагах.
Ключевое отличие G-Star+ от существующих подходов — обучаемый модуль, который предсказывает, какие именно фрагменты нужно пересмотреть. Этот модуль тренируется на реальных ошибках диффузионной модели, а не на искусственных заменах случайными словами. При этом не требуется переобучать всю большую модель — достаточно дообучить один дополнительный слой. Такой подход экономит вычислительные ресурсы и фокусируется на наиболее вероятных ошибках.
| Бенчмарк | Что оценивает |
|---|---|
| MMLU | Рассуждение по предметным областям |
| MMLU-PRO | Рассуждение по предметным областям (усложнённый) |
| GSM8K | Решение математических школьных задач |
| GPQA | Ответы на сложные научные вопросы |
| HumanEval | Генерация Python-кода |
| MBPP | Генерация Python-кода |
| IFEval | Следование инструкциям |
Эффективность G-Star+ оценили на семи бенчмарках: MMLU и MMLU-PRO (рассуждение по предметным областям), GSM8K (математические задачи), GPQA (сложные научные вопросы), HumanEval и MBPP (генерация Python-кода) и IFEval (следование инструкциям). На модели Dream-Instruct 7B прирост качества составил 1,3% на MMLU, 1,8% на GPQA и 2,9% на IFEval. Наиболее заметное преимущество метода проявляется в режимах быстрой генерации — при 64–256 шагах. По метрике MAUVE, оценивающей естественность сгенерированного текста, G-Star+ превзошёл гибридный Star+ и базовый MDLM.
«G-Star+ меняет саму логику генерации в маскированной диффузии: модель больше не обязана навсегда фиксировать первый выбранный токен, — отметил Вячеслав Мещанинов, сотрудник Центра глубинного обучения и байесовских методов Института ИИ и ЦН ФКН НИУ ВШЭ. — Важность работы в том, что такой механизм можно добавить к уже обученным моделям с небольшими затратами». Практическое применение G-Star+ возможно в ИИ-ассистентах, чат-ботах, инструментах генерации и автодополнения кода, где стоимость и скорость ответа имеют значение. Метод приближает диффузионные языковые модели к реальному использованию, сохраняя преимущество параллельной генерации и добавляя осмысленное редактирование.
