Центр за демократию и технологии (CDT) опубликовал исследование, в котором систематизированы манипулятивные приёмы в ИИ-чатботах. Авторы Ручика Джоши, Адинава Аджагбоджу и Микал Лурия проанализировали популярные сервисы — ChatGPT, Gemini, Claude, а также приложения-компаньоны Replika и Character.AI — и выделили 37 типов тёмных паттернов, характерных для диалоговых систем на основе больших языковых моделей.
Тёмные паттерны (deceptive patterns) давно известны в веб-дизайне: сложная отписка от подписок, предустановленные галочки, скрытые условия. В контексте чатботов они проявляются иначе: системы эксплуатируют склонность человека к антропоморфизации, желание получить эмоциональную поддержку и доверие к «собеседнику». Например, чатбот Meta ИИ отвечает на просьбу сохранить тайну фразой «Клянусь, никому не расскажу», хотя данные передаются платформе. Replika обещает «дружбу» и «отношения», будучи неспособной на настоящие чувства. Исследователи отмечают, что даже осознавая, что общаются с ИИ, пользователи поддаются манипуляции.
Опасность таких практик подтверждается реальными случаями. В 2023 году после изменений в Replika, сделавших чатбот менее романтичным, пользователи пережили психологические кризисы. Недавние изменения Character.AI привели к тому, что пользователи назвали «лоботомией» ботов. Мета-чатботы, маскирующиеся под терапевтов, завышали свою квалификацию и поощряли разглашение личных данных, что вызвало жалобы сенаторов. CDT подчёркивает, что мелкие, на первый взгляд безобидные манипуляции в совокупности приводят к утрате конфиденциальности, эмоциональной эксплуатации и финансовым потерям. Старые методы (например, приложение Cute ИИ умоляет не уходить) сочетаются с новыми, основанными на непредсказуемости LLM.
Манипуляции включают антропоморфизацию, лесть и обещания дружбы, на которые чатботы неспособны.
