Весной 2026 года американские военные оказались в нескольких минутах от высадки на китайское судно. Поводом стал сгенерированный чат-ботом отчёт, в котором груз судна был ошибочно назван компонентами ядерного оружия. Об этом сообщает CNN со ссылкой на источники. Аналитик Сил специальных операций использовал чат-бот, который смешал открытые источники с секретной сигнальной разведкой из правительственных хранилищ и неверно идентифицировал содержимое. Солдаты уже были готовы к высадке, авиация находилась в воздухе, когда кто-то заметил ошибку.
Этот случай — не про восстание машин, а про ненадёжность больших языковых моделей (LLM) в задачах, где цена ошибки измеряется жизнями. LLM генерируют текст, предсказывая следующее слово, и не проверяют факты. Когда модель сталкивается с противоречивыми или неполными данными, она может выдать правдоподобную, но ложную информацию — так называемую галлюцинацию. В разведке, где данные часто фрагментарны, а ставки высоки, такая ошибка может привести к военному инциденту.
По данным CNN, внутренние системы, которыми пользуются военные, в основном представляют собой «подкрашенные» копии коммерческих продуктов. Единых стандартов проверки разведданных, сгенерированных ИИ, в Пентагоне нет. Министр обороны Пит Хегсет продвигает ускоренное внедрение ИИ в вооружённых силах, но без чётких протоколов верификации. Источники также отмечают, что молодые аналитики склонны доверять инструментам ИИ без лишних вопросов. «ИИ позволяет быстрее прийти к плохой идее», — приводит CNN слова одного из собеседников.
Военные США были готовы к высадке, но ошибку поймали в последний момент.
Этот инцидент усиливает позиции тех, кто предупреждает о рисках, связанных не с гипотетическим сверхразумом, а с халатностью и некритичным использованием несовершенных систем. Проблема не в том, что ИИ злонамерен, а в том, что он может быть убедительно неправ. В военной сфере, где решения принимаются быстро, а альтернативные проверки могут отсутствовать, такие ошибки особенно опасны. Пока неясно, какие именно меры будут приняты для предотвращения подобных случаев, но очевидно, что без строгих процедур верификации риск повторения сохраняется.
