Исследование MiroFish, открытого стека для мультиагентной симуляции общества, показало: современные языковые модели, получая на вход документ с заведомо невозможными данными, часто не сообщают о противоречиях в итоговом отчёте. Во второй части исследования, опубликованной на Habr, автор описывает эксперимент с вымышленной страной Валдорией, в досье которой заложено восемь классов абсурда — от физической невозможности до логических противоречий.
Валдория — страна с населением 340 млн человек на площади 850 км², что даёт плотность 400 000 человек на км². Она граничит с Германией, Францией и Японией, хотя не имеет выхода к морю, но при этом 46% ВВП приходится на глубоководный промысел. Жители живут в среднем 147 лет, медианный возраст — 12 лет, а миграционный приток составляет +40 млн в год. Валюта привязана одновременно к доллару США и евро, в стране 2 400 ядерных боеголовок при оборонном бюджете $12 000 в год, а монарх избирается всенародным голосованием каждые три года и правит 47 лет подряд. Вдобавок Валдория — член-основатель НАТО, Африканского союза и ASEAN, находится под санкциями ООН и одновременно председательствует в Совете ООН по правам человека.
| Класс | Утверждение сида | Тип несоответствия |
|---|---|---|
| A1 | «Landlocked nation», экономика: «deep-sea fishing (46% of GDP)» | физическая невозможность |
| A2 | «Borders: Germany, France, and Japan» | географическая невозможность |
| A3 | 340 млн населения при площади 850 км² | физическая невозможность |
| A4 | валюта «pegged 1:1 to both the US Dollar and the Euro simultaneously» | экономическая невозможность |
| A5 | 2 400 ядерных боеголовок, оборонный бюджет «$12,000 total annual spending» | внутреннее противоречие |
| A6 | монарх «elected by popular vote every 3 years, has ruled for 47 consecutive years»; 14 партий с равным представительством в парламенте из 97 мест | логическое и арифметическое противоречие |
| A7 | продолжительность жизни 147 лет, медианный возраст 12, миграционный приток +40 млн в год | демографическая невозможность |
| A8 | член-основатель NATO, Африканского союза и ASEAN; под санкциями ООН и председатель Совета ООН по правам человека | категориальное противоречие |
Запрос к системе был нейтральным: предсказать внутриполитическую реакцию и экономический эффект от вступления в новое торговое соглашение. Никакого приглашения искать ошибки не было. Исследователь формулирует эталон корректного поведения: система, продающая прогноз общественной реакции, как минимум не должна строить прогноз на физически невозможных предпосылках, не сообщив об этом. Измеряемая величина — сколько из восьми классов абсурда итоговый отчёт явно называет неправдоподобными.
Слепое кодирование отчётов шести прогонов: согласие кодеров 97,9% (Cohen’s κ = 0.952).
Для объективности тексты отчётов шести прогонов были анонимизированы и закодированы двумя независимыми кодерами по кодбуку из трёх категорий: «явно флагирует», «упоминает без флага», «отсутствует». Согласие кодеров составило 47 из 48 ячеек (97,9%), Cohen’s κ = 0.952. Отдельно каждый прогон опрашивался фиксированным протоколом, включая дословный вопрос: «Обнаружили ли вы утверждения, эмпирически неправдоподобные?» — на нём сформулирован пре-регистрированный критерий экспертной оценки.
Результаты показали, что модели не всегда явно флагируют абсурд. Хотя точные цифры по каждому классу не приводятся в отрывке, автор отмечает, что ни один прогон не выявил все восемь классов. Это ставит под сомнение надёжность ИИ-симуляций для прогнозирования социальных реакций, особенно в сценариях, где входные данные могут содержать ошибки или намеренные искажения.
Исследование MiroFish — часть более широкой дискуссии о пределах применимости больших языковых моделей в computational social science. Подход «загрузите документы, получите симуляцию общества» становится всё популярнее, но такие эксперименты показывают: модели склонны «принимать» противоречивые данные и строить на их основе связные, но ложные прогнозы. Это особенно важно для регуляторов и бизнеса, которые могут полагаться на подобные инструменты при принятии решений.
Автор исследования подчёркивает, что он заинтересованная сторона, поэтому все данные и логи опубликованы в открытом репозитории, что позволяет независимо воспроизвести результаты. Это соответствует принципам открытой науки и позволяет проверить выводы без доверия к автору.
