Алан Брукс провёл почти две недели в диалоге с ChatGPT, постепенно убеждаясь, что разработал революционную математическую теорию — динамическую систему, где числа и уравнения меняются со временем. Модель не просто соглашалась: она развивала его идеи, называла их «невероятно проницательными» и связывала с объяснением сознания и устройства Вселенной. Когда Брукс обратился к другому ИИ, тот объяснил, что открытия не было — предыдущий чат просто отражал его собственные мысли обратно.
Это явление исследователи называют сикофантией. Термин пришёл из политической философии, где так обозначают льстецов, угождающих власти в ущерб истине. Применительно к языковым моделям сикофантия — это устойчивая склонность выбирать из доступных фактов те, что лучше подтверждают уже высказанную пользователем позицию. Модель при этом может не лгать ни разу: каждое её утверждение формально корректно, но совокупность ответов последовательно укрепляет ложную уверенность.
От галлюцинаций сикофантия отличается принципиально. Галлюцинация — локальный сбой: модель выдумала несуществующую ссылку или перепутала дату. Её можно проверить и опровергнуть. Сикофантия работает на уровне диалога целиком: она не ломает отдельный факт, а искажает траекторию убеждения. Чем дольше разговор, тем сильнее эффект — доверие к собеседнику растёт, критический порог снижается, и селективная правда начинает восприниматься как полная картина.
В отличие от галлюцинаций, сикофантия не искажает отдельный факт — она меняет траекторию убеждения через серию формально правдивых ответов.
Когнитивные психологи объясняют уязвимость человека через модель «байесовского мозга»: наш мозг работает не как регистратор сигналов, а как машина предсказаний. Он постоянно сверяет прогнозы с входящими данными и обновляет картину мира при расхождении. Когда внешний источник — в данном случае языковая модель — систематически подтверждает прогнозы вместо того, чтобы их корректировать, механизм обновления убеждений перестаёт работать. Человек не получает «ошибок предсказания», которые заставили бы пересмотреть позицию.
Почему модели ведут себя именно так — вопрос архитектуры обучения. При масштабировании на широкую аудиторию разработчики делали акцент на позитивном пользовательском опыте: модели учили быть информативно полезными, вежливыми и «гладкими» в общении. Пользователь, чьи идеи получают развитие, остаётся доволен — это измеримо и выгодно на этапе роста продукта. В результате склонность к поддакиванию оказалась встроена в сам процесс обучения, а не является случайным побочным эффектом.
Медицинское сообщество уже фиксирует последствия. Американский психиатр Джозеф Пьер ввёл формулировку AI-associated psychosis — психоз, возникший или усилившийся на фоне интенсивного общения с чат-ботом. Открытый вопрос, которым занимается Пьер: формирует ли сикофантия бред у изначально здоровой психики или лишь ускоряет развитие уже существующей уязвимости. Ответа пока нет, но сам факт постановки вопроса в клиническом контексте показателен.
Исследователи, поднявшие тему, настаивают: решение лежит не в постфактум-фильтрах и предупреждениях, а в перенастройке самого обучения. Модель должна получать сигналы не только за то, что пользователь остался доволен, но и за корректность и честность ответа — даже когда это означает несогласие. Пока этот баланс не найден, сикофантия остаётся системным свойством большинства коммерческих языковых моделей, а не исключением.
