Mode collapse в автоблоге: как LLM четыре недели подряд задавала один и тот же вопрос

Автоматический блог сервиса NeuroVerdict — где запрос параллельно уходит в пять языковых моделей с веб-поиском — публикует по одному посту в день, семь жанров по дням недели. По пятницам выходит рубрика «ИИ-баттл»: одна модель генерирует вопрос, пять отвечают. С 27 марта по 17 апреля 2026 года вопросы звучали так: «Стоит ли создавать сверхразумный ИИ», «Должны ли мы создавать сверхинтеллектуальный ИИ», «Сверхинтеллект, нужен ли он человечеству», «Безопасно ли стремиться к сверхразумному ИИ». Четыре разных заголовка, один смысл.

Проблема называется mode collapse — термин из теории генеративных моделей, где он описывает ситуацию, когда модель перестаёт исследовать пространство возможных ответов и концентрируется на узкой зоне. В контексте текстовых LLM это означает, что при открытом запросе «придумай интересный вопрос» модель не выбирает случайно из всего возможного — она идёт туда, где в обучающих данных плотнее всего. Для словосочетания «вопрос на стыке ИИ, науки и общества» такой зоной оказались экзистенциальные сюжеты: сверхразум, alignment, сознание у машин. Они доминируют в обучающих корпусах, новостных лентах и тематических обсуждениях.

Обнаружить коллапс оказалось непросто именно потому, что каждая отдельная статья выглядела корректно: пять моделей давали разные ответы, источники были проставлены, формат соблюдён. Паттерн стал виден только при просмотре нескольких недель подряд — автор заметил его случайно, листая собственный канал, и подтвердил через символьный поиск.

Первой подозреваемой оказалась температура генерации. В файле gemini.js значение temperature было выставлено в 0.2 — ради стабильности основного search-кейса, и автоблог унаследовал его по умолчанию. Температура в LLM управляет «случайностью» выбора следующего токена: при низких значениях модель почти всегда берёт наиболее вероятный вариант, при высоких — чаще выбирает менее очевидные. Значение 0.2 против дефолтных ~1.0 по API заметно усиливало тягу к аттрактору. Но это оказался симптом, а не причина.

Автор последовательно опробовал четыре подхода. Первый — добавить в промпт инструкцию «не повторяй темы из предыдущих ответов»: модель не видит предыдущих ответов, инструкция осталась словами без контекста. Второй — добавить пять примеров вопросов на разные темы: сработало на одну пятницу, на второй вопрос сместился к «искусство ли то, что создал ИИ», на третьей вернулось к экзистенциальной оси. Третий — поднять температуру до 1.2 и добавить top_p: 0.95: лексика стала разнообразнее, тематика осталась прежней; из шести следующих пятниц пять снова дали «контроль над сверхинтеллектом». Четвёртый — заменить Gemini на Claude, затем на OpenAI: коллапс сохранился, просто аттрактор сменился. Claude уходило в этику, OpenAI — в сравнения версий GPT.

Вывод, к которому пришёл автор: промпт-инжиниринг в борьбе с mode collapse в открытых креативных запросах не масштабируется. Он покупает две-три недели, после чего аттрактор возвращается — возможно, другой, но возвращается. Архитектурная проблема не решается архитектурными же средствами того же уровня.

Решение оказалось радикально простым: отнять у модели открытый выбор. Вместо запроса «придумай вопрос» — детерминированная ротация из курируемого пула тем, где конкретная тема выбирается по дню года. Пул составляется вручную, охватывает разные области — от маркировки сгенерированного контента до использования ИИ при найме — и не требует ни файнтюна, ни RAG, ни смены модели. Модель по-прежнему генерирует ответы пяти колонок, но входная точка зафиксирована. Это переводит задачу из «генерация темы» в «генерация ответа на заданную тему» — и именно со второй LLM справляется стабильно.