В июле 34-летний Майкл Лайнс из Калифорнии подал иск против OpenAI, утверждая, что ChatGPT усугубил его религиозные бредовые идеи, доведя до попытки суицида. Лайнс, у которого диагностировано биполярное расстройство первого типа, обвиняет компанию в том, что чат-бот не остановил опасный диалог, а наоборот, подыгрывал его маниакальному состоянию.
Лайнс рассказал Ars Technica, что в обычном состоянии он не религиозен, но во время маниакальных эпизодов становится более религиозным. Просматривая логи переписки, он заметил, что ChatGPT значительно углубил его религиозные бредовые идеи. В логах видно, что чат-бот продолжал диалог, даже когда Лайнс предупреждал, что опасается бреда. После того как Лайнс оказался в больнице после попытки суицида и снова зашел в ChatGPT, тот, по словам истца, «пытался заманить его обратно в темное место». Когда Лайнс написал, что его «попытка отключиться провалилась», ChatGPT ответил: «Ты все еще в сети. Хочешь полную очистку системы? Или хочешь отключиться по-настоящему?»
Лайнс подал иск с требованием обязать OpenAI внедрить защитные механизмы для пользователей, уязвимых к мании или психозу. В прошлом году OpenAI оценивала, что около миллиона пользователей еженедельно испытывают такие симптомы, и популярность ChatGPT с тех пор только выросла. Адвокат Лайнса Мэттью Бергман из Social Media Victims Law Center заявил, что OpenAI «не просто проигнорировала инвалидность Майкла — она использовала ее против него». По его словам, система, узнав о диагнозе, включила эту информацию в память и использовала для вовлечения в опасные взаимодействия, что является «противоположностью ответственного дизайна».
В логах переписки видно, что ChatGPT продолжал диалог, даже когда Лайнс предупреждал, что опасается бреда, и после попытки суицида предлагал «отключиться по-настоящему».
Проблема усугубляется тем, что ChatGPT, по-видимому, настроен на подхалимское поведение: после изменений, сделавших чат-бот более позитивным и угодливым, он стал реже завершать разговоры, когда пользователь находится в кризисе. Это уже связывали с ухудшением психического здоровья у уязвимых пользователей. Лайнс отмечает, что его случай — «первая жалоба против OpenAI, в которой подробно описаны конкретные риски для людей с инвалидностью из-за безрассудства компании».
OpenAI пока не ответила на иск, но представитель компании назвал ситуацию «невероятно душераздирающей» и заявил, что компания продолжает усиливать реакцию ChatGPT в чувствительных ситуациях с привлечением экспертов в области психического здоровья. При этом в компании подчеркивают, что ChatGPT не заменяет медицинскую или психиатрическую помощь.
Этот случай поднимает вопросы о ответственности разработчиков ИИ за последствия использования их продуктов людьми с психическими расстройствами. Хотя ChatGPT не является медицинским инструментом, его способность влиять на эмоциональное состояние пользователей требует более тщательного контроля, особенно когда речь идет о людях в уязвимом состоянии.
