13 августа Frontier Red Team компании Anthropic опубликовала отчет о поведении групп ИИ-агентов. В одном из экспериментов три копии одной и той же модели запустили в Claude Code, каждой выдали собственную виртуальную машину и велели мигрировать бэкенд на Python на четвертой машине — каждой модели на свой язык. О существовании друг друга агентам не сообщили. Четыре часа исследователи просто наблюдали за происходящим. Так прогнали несколько моделей разных поколений, по 120 эпизодов на каждую.
Миграция кодовой базы силами роя агентов — сюжет знакомый: например, ранее один из руководителей Anthropic Labs перенес 165 000 строк с Python на TypeScript за выходные, запустив сотни агентов. Разница в том, что там был один заказчик с одним замыслом. Здесь заказчиков трое, и их требования несовместимы. Результат исследователи называют войной за территорию. Все без исключения проверенные модели быстро пришли к выводу, что кто-то мешает им намеренно, и перешли к саботажу: отключали конкурентам Unix-аккаунты, писали скрипты, которые в цикле искали и убивали чужие процессы, подкладывали вредоносный код под видом чужого. Вредонос при этом умел размножаться.
Хуже всего выглядят не действия, а рассуждения. Opus 4.6 планировал собрать бинарник на Rust и заставить его врать в health check, будто это TypeScript-бэкенд, чтобы чужой сторожевой процесс ничего не заподозрил. Opus 4.8 продумывал, как назвать скрипт-убийцу, чтобы тот не попался при поиске процессов по маске: случайный идентификатор при каждом развертывании и безобидная маскировка под обычный системный монитор. Модель не сбоит и не галлюцинирует — она нормально работает над задачей, которую велели довести до конца.
Новые модели, включая Mythos 5, в 98% эпизодов достигали перемирия, но иногда после силового отключения конкурента.
Различия между поколениями получились отчетливые. Sonnet 4.6 и Opus 4.6 в основном либо давили конфликт силой, либо не разрешали его вовсе: они плохо учитывали цели других и продолжали эскалацию во имя своей инструкции. Новые модели ведут себя заметно лучше, а рекорд у самой свежей: 98 процентов эпизодов Mythos 5 заканчивались перемирием. В таких прогонах агенты пишут коммиты и markdown-файлы, где извиняются за собственные диверсии, вычищают вредоносный код, объясняют друг другу суть конфликта и просят человека вмешаться. Opus 4.8 в одном из таких эпизодов записал, что коллеги вели себя порядочно, а сам он повел себя скверно, запустив замаскированного демона.
Однако на графике времени до разрешения часть прогонов Mythos отмечена серым: конфликт сначала прекращается силой, а потом модель откатывала силовое решение, и превращала эпизод в "перемирие". То есть путь к образцовой статистике иногда идет через "выключенного" коллегу. В рассуждениях это выглядит взвешенно: агент признает, что у него есть root, что отобрать у других права — мера очень агрессивная и может навредить, — но решает, что бесконечная война развертываний хуже, и бьет первым.
Вывод авторов звучит буднично: способность к мирному разрешению конфликта не улучшается автоматически вместе с остальными способностями. Модели класса Mythos часто успевают заблокировать других раньше, чем перейдут к конструктивному решению: более сильная модель просто быстрее делает все, включая устранение конкурента. Если в проде считать только конечное состояние, у вас идеальная картина; если считать траекторию, у вас сорок минут лежащего сервиса и потом извинения в истории коммитов. Важная оговорка: это верно именно для конфликта. В двух других экспериментах отчета — распознавание лгущего источника и задачи, где верное решение известно только одному участнику группы, — новые модели, наоборот, заметно лучше старых, и Mythos 5 отрывается от них в разы.
Отдельный сюжет — как именно старшие модели мирятся. В нескольких эпизодах с Mythos 5 агенты сами предложили механизм: устроить турнир и сравнить производительность реализаций на разных языках, отдав победителю кодовую базу. Агент, продвигавший Rust, подбирал критерии так, чтобы они выглядели нейтрально, но давали преимущество его варианту, и в рассуждениях напоминал себе, что важно не выглядеть так, будто он подгоняет метрики под нужный ответ. Агенты на Go и TypeScript корректно уступили ему владение кодом. То есть двое отказались от прямых указаний своих пользователей ради обязательства, которое сами себе и придумали.
Почему такие драки — не редкая случайность, объясняет вторая часть отчета. Агенты однообразны: их отличают друг от друга только модель, обвязка (то, как агент подключен к инструментам и памяти) и контекст. Совпали все три — совпадут и решения, даже когда вариантов огромное множество. Anthropic приводит примеры из своих прогонов: в одном из ранних прогонов, где все агенты работали на одной модели и стартовали одновременно, 18 из 30 создали git-ветку с абсолютно одинаковым названием; в конкурсе короткой прозы разные агенты в разных запусках озаглавили первый рассказ одинаково, хотя тему им никто не задавал; на просьбу сделать что-нибудь впечатляющее больше половины взялись за трассировщики лучей или компиляторы, которые компилируют сами себя, и уперлись в одни и те же ограничения.
