Галлюцинации нейросетей: как суды и компании расплачиваются за выдумки ИИ

Галлюцинации больших языковых моделей — не просто технический курьёз, а источник реальных юридических и финансовых последствий. Весной 2023 года нью-йоркский юрист Стивен Шварц готовил возражение по иску против авиакомпании Avianca и впервые использовал ChatGPT для поиска прецедентов. Модель выдала шесть судебных решений с номерами, цитатами и ссылками — но все они оказались выдуманными. Судья Кевин Кастел в приказе от 4 мая 2023 года назвал их «фальшивыми судебными решениями», а само дело «Варгезе» — бессмыслицей. Шварц пытался проверить достоверность, спросив у ChatGPT, настоящие ли это дела, и получил заверения, что их можно найти в уважаемых юридических базах. Проверка галлюцинации у источника галлюцинации — приём, который не работает, но показывает, как легко довериться модели.

Финал истории — штраф 5000 долларов на двоих юристов и фирму. По манхэттенским меркам это немного, но инцидент стал лишь вершиной айсберга. Французский исследователь Дамьен Шарлотен с 2025 года ведёт базу судебных дел, в которых всплыли выдуманные ИИ-цитаты. На старте в мае 2025-го там было около 120 эпизодов, к концу августа 2026-го — уже 1980, из них 1362 в США. В среднем фиксируется по четыре новых дела в день, и это только те случаи, которые суды заметили и оформили. Чаще всего попадаются граждане, защищающие себя самостоятельно, но и профессиональных юристов в базе почти восемьсот.

В базе два типа нарушений. Основной — дела, которых никогда не существовало: таких 1646 эпизодов. Более тонкий жанр — когда дело настоящее, а цитата из него выдумана. Таких случаев больше пятисот, и обнаружить их сложнее, поскольку номер дела пробивается. Показательно, что суды строже всего наказывают не за сам факт использования ИИ, а за попытку скрыть его. Юрист из Колорадо Закария Крабилл, попавшись на выдуманных прецедентах, свалил вину на стажёра и получил реальное отстранение от практики — один из первых таких прецедентов. Этим летом адвоката в Миннесоте отстранили уже просто за фальшивые цитаты в брифе, что говорит о повышении планки ответственности.

Отдельная история — ответственность компаний за чат-ботов. Джейк Моффатт покупал билет Ванкувер — Торонто на похороны бабушки в ноябре 2022 года. Чат-бот на сайте Air Canada посоветовал лететь по полному тарифу и оформить скидку за утрату близкого в течение 90 дней после полёта. Авиакомпания отказала в компенсации, заявив, что бот ошибся, а настоящие правила ретроактивных заявок не допускают. Дело дошло до трибунала Британской Колумбии, который в феврале 2024 года вынес решение в пользу Моффатта. Ключевой момент — аргумент Air Canada о том, что чат-бот является отдельной сущностью и сам отвечает за свои действия. Член трибунала Кристофер Риверс назвал этот довод «замечательным» и сформулировал принцип: нет разницы, получена информация со статичной страницы сайта или от чат-бота — отвечает компания.

Сумма компенсации составила меньше тысячи канадских долларов, но значение имеет прецедент. Для бизнеса это сигнал: чат-боты на базе LLM — не просто инструмент, а часть публичного лица компании, и за их ошибки придётся отвечать. При этом полностью исключить галлюцинации невозможно — это врождённое свойство генеративных моделей, которые создают правдоподобный текст, а не ищут факты в базе. Разница между поисковиком и генератором — как между библиотекой и очень начитанным импровизатором. Понимание этого — первый шаг к тому, чтобы выстроить защиту: от ограничения сценариев использования до обязательной проверки критически важных ответов человеком.