Военная операция США против китайского судна была отменена в последний момент этой весной после того, как выяснилось: разведданные, на которых она строилась, сгенерировал ИИ-чатбот. Самолёты уже находились в воздухе, когда officials обнаружили ошибку. Об этом в пятницу сообщил CNN.
Согласно источнику, ложный разведотчёт циркулировал во время войны с Ираном и утверждал, что судно перевозит компоненты для ядерной программы. Цепочка ошибок началась с аналитика Командования специальных операций, который запросил у чатбота синтез открытых данных и разведки сигналов. Система неверно определила грузовой манифест судна. Затем аналитик использовал тот же инструмент второй раз — чтобы оформить ошибочные выводы в официально выглядящую сводку. Документ разошёлся по командным каналам, и на его основе началась подготовка вооружённой операции.
| Этап | Действие | Результат |
|---|---|---|
| Первый запрос | Аналитик запросил у чатбота синтез открытых данных и разведки сигналов | Система неверно определила грузовой манифест судна |
| Второй запрос | Тот же инструмент использован для оформления выводов в официальную сводку | Документ разошёлся по командным каналам |
| Подготовка операции | На основе сводки началась вооружённая операция против китайского судна | Самолёты подняты в воздух |
| Отмена | Officials обнаружили ошибку | Операция отменена в последний момент, конфликт предотвращён |
Инцидент показывает, как ошибки больших языковых моделей (LLM) могут подниматься по цепочке командования, не встречая проверки. Пентагон описывает ИИ как значительное преимущество для ускорения kill chain — цикла обнаружения, оценки и поражения цели, чтобы командиры успевали реагировать вовремя. Но та же скорость, которая делает ИИ привлекательным, снижает возможности человеческого контроля. Если аналитик получает готовую сводку за секунды, у него меньше поводов перепроверять исходные данные вручную.
«Военнослужащим важно понимать неопределённость, присущую LLM, — заявил TechCrunch Джейк Стеклер, исследователь GovAI и ветеран армии США. — Но это особенно критично для решений, которые могут привести к применению силы: наведение на цель, анализ разведки или оперативное планирование. У таких решений есть последствия в виде жизни и смерти». При этом Стеклер считает, что инцидент — повод добавить больше защитных механизмов, а не отказываться от ИИ. «Эти инструменты могут быть полезны в правильных контекстах и при правильных мерах предосторожности, — сказал он. — Но приоритет скорости внедрения над всем остальным, вероятно, приведёт к инцидентам, которые заставят военнослужащих потерять доверие к этим системам, а это в итоге только замедлит внедрение».
Случай произошёл на фоне гонки США и Китая за военное превосходство с использованием ИИ. Пентагон интегрирует системы машинного обучения в разведку и планирование, чтобы сократить время принятия решений. Однако именно в сценариях с применением силы цена ошибки максимальна: галлюцинация модели, прошедшая через несколько уровней согласования, может привести к эскалации. По данным CNN, на этот раз операцию удалось остановить до начала боевых действий, но инцидент ставит вопрос о том, какие проверки должны стоять между выводом чатбота и приказом на применение оружия.
