ИИ Пентагона не заметил школу: сбой в целеуказании привел к гибели 120 детей

В конце февраля американский беспилотник нанес ракетный удар по зданию в иранском городе Минаб. Целью считался военный объект, но на деле это была начальная школа. Погибли около 120 детей. Расследование Los Angeles Times, основанное на внутренних документах Пентагона, показало, что трагедия стала результатом сочетания устаревшей инфраструктуры и недостаточной интеграции ИИ-систем.

Еще в 2019 году аналитик разведки заметил, что объект, ранее классифицированный как военно-морское сооружение, превратился в школу. Он внес пометку в цифровой инструмент, но тот не был связан с официальной базой данных целей — MIDB (Modernized Integrated Database). MIDB, созданная в 1980-х, до сих пор во многом полагается на ручной ввод. Ее замена — автоматизированная система MARS — отстает от графика на годы. В 2020 году правительственное отчетное управление уже указывало на недостатки MIDB. Кроме того, по данным New York Times, использовались спутниковые снимки семилетней давности.

На этом фоне Пентагон впервые масштабно применил ИИ для выбора целей. Система Maven Smart System от Palantir, в которую была встроена модель Claude от Anthropic, в первый день кампании предложила около 1000 целей. Однако ИИ не имел доступа к заметке аналитика и работал с устаревшими данными. Бывший директор Объединенного центра искусственного интеллекта (JAIC) генерал-лейтенант в отставке Джек Шанахан назвал ситуацию «непростительной» и охарактеризовал целеуказание как «вымирающее направление»: по его словам, за 20 лет контртеррористических операций профессионализм в этой области деградировал. В ответ на репортаж Пентагон объявил о запуске агентной ИИ-инициативы, которая должна автоматически сверять данные с публичными ресурсами вроде Google Maps. Однако, по данным Bloomberg, Разведывательное управление Минобороны отказалось комментировать конкретные недостатки.