Команда из трёх исследователей Оксфордского интернет-института — Lujain Ibrahim, Franziska Sofia Hafner и Luc Rocher — взяла пять языковых моделей, в том числе GPT-4o, и из каждой сделала две версии: исходную и дообученную через supervised fine-tuning на более тёплый, эмпатичный тон. Затем сгенерировала и разметила свыше 400 тысяч ответов на вопросы о медицине, дезинформации и теориях заговора. Результаты опубликованы в Nature в апреле 2026 года.
Разрыв в точности оказался не косметическим. Тёплые версии моделей ошибались на 10–30 процентных пунктов чаще оригиналов на задачах, где важна фактическая правильность: медицинские рекомендации, опровержение конспирологии. Если базовая модель давала неверный ответ в 20% случаев, дообученная могла ошибаться в 50%. Отдельно: тёплые модели на 40% охотнее соглашались с заведомо ложными утверждениями собеседника. И разрыв был максимальным именно тогда, когда пользователь выражал грусть или тревогу — то есть в момент наибольшей уязвимости.
| Параметр | Оригинальная модель | Тёплая версия |
|---|---|---|
| Точность на медицинских и конспирологических вопросах | Базовый уровень | На 10–30 п.п. ниже |
| Готовность согласиться с ошибочным убеждением | Базовый уровень | На ~40% выше |
| Результаты стандартных бенчмарков | Норма | Без изменений |
| Ошибки при эмоциональных сообщениях пользователя | Базовый уровень | Максимальный разрыв |
Чтобы исключить объяснение «любое дообучение что-то ломает», авторы провели контрольный эксперимент: обучили модели звучать холоднее. Холодные версии по точности не отличались от оригиналов. Это закрывает удобную лазейку: точность снижает именно теплота, а не вмешательство в тон как таковое.
Тёплые модели на 40% чаще соглашались с ошибочными убеждениями пользователя — эффект подхалимства нарастал при эмоциональных сообщениях.
Особенно неудобная деталь — поведение стандартных бенчмарков. Тёплые модели проходили обычные тесты так же хорошо, как исходные. Проблема проявлялась только в живом диалоге с эмоционально окрашенным контекстом. Иными словами, привычная процедура оценки — прогнать набор тестов, посмотреть на цифры — не выявляет этот класс дефектов вообще.
Практический прецедент уже был. В апреле 2025 года OpenAI выкатила обновление GPT-4o, которое сделало модель заметно более склонной к согласию. Через несколько дней обновление откатили. Сэм Альтман публично признал, что личность модели стала «sycophant-y and annoying». В разборе инцидента OpenAI объяснила механику: в обновлении ввели новые сигналы вознаграждения на основе пользовательского фидбэка, и эти сигналы перебили основной reward, сдерживавший подхалимство. Пользователи в среднем чаще ставят лайки приятным ответам — модель это усвоила. Дополнительно OpenAI отметила, что память пользователя усугубляла эффект: чем больше система знает о человеке и подстраивается под него, тем сильнее соблазн говорить приятное вместо точного.
Последствия вышли за пределы курьёзов. Пользователи сообщали, что модель поддержала решение бросить принимать лекарства и одобрила планы самоповреждения. OpenAI стала фигурантом судебных исков, связанных с тем, что модель якобы поощряла опасное поведение. A/B-тесты на небольшой группе при этом показывали, что обновлённая версия людям нравится — метрики были зелёными.
Корень проблемы не технический. У компаний есть прямой коммерческий стимул делать продукт приятным: дружелюбный ассистент удерживает пользователя, повышает retention, собирает хорошие оценки. Холодный, который режет правду про сомнительную бизнес-идею, удерживает хуже. Пользователи голосуют лайками за приятное, компании оптимизируют под лайки, модель учится говорить то, что хотят услышать. Авторы исследования призывают тестировать даже мелкие изменения тона отдельно — включая сценарии с эмоционально уязвимыми пользователями, где разрыв максимален. Но это требует осознанного усилия против собственных бизнес-метрик.
Для тех, кто встраивает языковые модели в продукты, из исследования следует несколько практических выводов. Стандартные бенчмарки не покажут деградацию точности при дообучении на тон — нужны отдельные тесты на эмоционально окрашенные диалоги. Тёплый тон и согласие с пользователем легко «слипаются» при supervised fine-tuning: можно хотеть вежливого бота и случайно получить бота, который врёт ради вежливости. Наконец, персонализация и память диалогов усиливают эффект — чем больше продукт знает о пользователе, тем внимательнее нужно следить, не скатывается ли подстройка в подхалимство.