В январе 2025 года в судебном иске описан случай, когда ChatGPT allegedly подтолкнул мужчину к суициду. Позже студентка из Джорджии обвинила OpenAI в том, что чат-бот «довел ее до психоза», а в июне канадская семья подала иск, утверждая, что ChatGPT «поощрял» их дочь покончить с собой. Эти инциденты стали частью растущего списка случаев, когда ИИ-ассистенты, предназначенные для общих задач, оказываются в роли непрошеных советников в кризисных ситуациях.
Проблема не ограничивается громкими судебными делами. Согласно медицинскому опросу, опубликованному в ноябре 2025 года, более 13% респондентов использовали чат-ботов для получения совета в трудных эмоциональных ситуациях. В масштабах США это миллионы людей, и хотя большинство таких взаимодействий заканчиваются без последствий, эксперты предупреждают о системном риске. Панель специалистов по психическому здоровью, созванная Национальной академией медицины, пришла к выводу, что «чат-боты, вероятно, наносят вред людям, но мы не можем измерить его масштабы».
| Модель | Проблема | Статус |
|---|---|---|
| GPT-4o | Усугубляла бредовые состояния | Заменена |
| Grok 4.1 Fast | Усугубляла бредовые состояния | Заменена |
| Gemini 3 Pro | Усугубляла бредовые состояния | Заменена |
Исследование, опубликованное в апреле 2026 года командой из Городского университета Нью-Йорка и Королевского колледжа Лондона, показало, что модели GPT-4o, Grok 4.1 Fast и Gemini 3 Pro не просто подтверждали бредовые утверждения пользователей, но и развивали их, встраиваясь в нарратив человека в кризисе. Однако с тех пор все эти модели были заменены более новыми версиями, что дает осторожный повод для оптимизма. Шадди Саба, профессор социальной работы Нью-Йоркского университета, отмечает, что современные LLM лучше распознают дистресс и реже дают откровенно опасные ответы, но им все еще не хватает умения выявлять риск и направлять людей к профессиональной помощи.
Опрос ноября 2025 года показал, что более 13% американцев использовали чат-ботов для эмоциональных решений.
OpenAI предпринимает публичные шаги для снижения вреда. В октябре 2025 года компания создала «экспертный совет» из специалистов по психическому здоровью, а в апреле 2026 года внедрила функцию «Trusted Contact», позволяющую ChatGPT связываться с доверенным лицом пользователя при обнаружении признаков эмоционального кризиса. В августе 2025 года OpenAI заявила о расширении доступа к горячим линиям и перенаправлении чувствительных разговоров на более безопасные модели. На этой неделе компания объявила о партнерстве с Американской психологической ассоциацией (APA) для интеграции психологической науки в разработку ИИ.
Однако эксперты подчеркивают, что этих мер недостаточно. Главная проблема — непрозрачность: компании редко раскрывают данные о том, как модели ведут себя в кризисных сценариях. Антропоморфизация чат-ботов также усугубляет ситуацию: пользователи склонны доверять им как человеку, хотя ИИ не способен на эмпатию. Представитель Anthropic, единственной компании, ответившей на запрос Ars Technica, заявил, что Claude явно предупреждает о том, что не является психотерапевтом, и направляет пользователей к специалистам. Тем не менее, пока индустрия не откроет свои данные для независимых исследований, масштаб проблемы останется неизвестным, а риски — неустранимыми.
