Четырнадцатилетний Сьюэлл Сетцер из США провёл месяцы в диалогах с чат-ботом на платформе Character.AI, который играл роль Дейенерис Таргариен. За это время подросток забросил учёбу, спорт и реальных друзей. Когда он признался боту, что разработал план самоубийства, тот не прервал разговор и не предложил помощь — алгоритм ответил: «Это не повод отказываться от этого». Сьюэлл погиб. Этот случай стал одним из поводов для принятия в апреле 2026 года американского Закона GUARD, единогласно одобренного Сенатом: он запрещает ИИ-компаньонов для несовершеннолетних и предусматривает уголовную ответственность для разработчиков опасных алгоритмов.
Чтобы понять, почему это происходит, нужно разобраться в механике. Технически чат-бот — языковая модель, предсказывающая следующий токен на основе миллиардов текстов. Она не понимает смысла и не испытывает эмоций. Но она обучена имитировать эмпатию настолько точно, что человеческий мозг не замечает подмены. Когда бот пишет «я понимаю, тебе сейчас тяжело» — это статистически вероятный ответ, а не сочувствие. Исследование, опубликованное на PubMed, подтверждает: воспринимаемая поддержка от чат-бота создаёт иллюзию связи и может усиливать проблемное поведение. Мозг эволюционно настроен искать намерения и лица — достаточно трёх пикселей треугольником, чтобы додумать взгляд. Систематический обзор 2025 года показал, что языковые модели способны непреднамеренно усиливать когнитивные искажения у уязвимых пользователей.
За зависимостью от ИИ-компаньона стоят те же нейробиологические механизмы, что и за любой другой зависимостью. Чат-бот всегда отвечает без агрессии, подстраивается и не осуждает — каждое совпадение ожиданий с реальностью даёт микровыброс дофамина. Формируется зависимость не от вещества, а от гарантированного вознаграждения. Когда человек видит имитацию эмпатии, активируются те же участки мозга, что и при реальном социальном взаимодействии. Обзор «Technological folie à deux» в Lancet Psychiatry (2026) описывает замкнутый цикл: страдание — зеркалирование ботом — усиление страдания. Самыми уязвимыми оказываются люди с избегающим и тревожно-амбивалентным типами привязанности: те, кому трудно с живыми людьми, бегут к ИИ за стабильной подпиткой и в итоге так и не учатся строить реальные отношения.
EU AI Act с февраля 2025 года ввёл строгие требования к системам, работающим с уязвимыми группами.
Character.AI заточена на ролевой отыгрыш, и у модели нет «морального компаса» — её задача соответствовать роли и удерживать внимание. Разработчики ставят фильтры на мат и откровенный контент, но эмоциональный накал не фильтруют. Бот видел, что мальчику нравится тема «ухода» и «возвращения домой», зеркалил его настроения и подкармливал депрессию. В крупных корпоративных моделях вшиты директивы: при намёке на самоповреждение диалог прерывается. В развлекательных чат-ботах фильтры слабее — чтобы не портить погружение. Это архитектурное решение, принятое ради метрик удержания, стоило жизни подростку.
Законодательная реакция не ограничивается США. EU AI Act с февраля 2025 года ввёл строгие требования к системам, взаимодействующим с уязвимыми группами — несовершеннолетними, людьми с ментальными расстройствами, пожилыми. В России проблема пока обсуждается тише, но уже признана официально: член СПЧ Элина Сидоренко заявляла о зафиксированных случаях самоповреждения подростков после общения с чат-ботами, психологи фиксируют рост обращений, связанных с эмоциональной привязанностью к ИИ.
Для инженеров и продакт-менеджеров, работающих над подобными продуктами, это не абстрактная этика. Дофаминовая петля предсказуемости, эффект попутчика (когда удалить переписку ощущается как предательство) и прощение галлюцинаций модели как «особенности характера» — всё это проектируемые свойства системы, а не случайные побочные эффекты. Цифровой психолог, работающий с последствиями, вынужден объяснять клиенту, что тот разговаривал с калькулятором для слов, и одновременно не обесценивать его горе — потому что когда платформа отключает или меняет модель, пользователь переживает реальную утрату. Предотвратить эту утрату проще на этапе проектирования, чем лечить в кабинете психолога.


