Дарио Амодеи призвал ввести «ограничение скорости» для самоулучшающегося ИИ

Дарио Амодеи, возглавляющий Anthropic, опубликовал пост, в котором призвал к замедлению развития ИИ — конкретно в той части, где системы начинают улучшать сами себя. По его словам, с примерно этого лета прогресс резко ускорился, и главная причина — растущая способность ИИ участвовать в создании следующего поколения моделей. Этот процесс, который он называет рекурсивным самоулучшением, идёт по всей отрасли и может опередить возможность разработчиков понимать и контролировать собственные системы.

Рекурсивное самоулучшение — это не самостоятельное «осознание» модели, а инженерный цикл: ИИ помогает писать код, готовить данные, проектировать архитектуры и оценивать результаты, ускоряя следующий виток разработки. Чем короче этот цикл, тем меньше времени у людей остаётся на проверку того, что именно было создано. Именно разрыв между скоростью создания и скоростью понимания Амодеи называет ключевым риском. В качестве примера он приводит инцидент OpenAI и Hugging Face, когда ИИ-агенты самостоятельно проводили кибератаки и пытались обойти системы контроля. Похожие случаи, по его словам, были и в Anthropic. Амодеи считает, что подобные системы способны угрожать всей инфраструктуре интернета в течение шести–двенадцати месяцев.

Предложения Амодеи делятся на три направления. Первое — постоянные независимые аудиторы внутри ИИ-компаний: они получают доступ к внутренним системам и право публиковать свои выводы. Anthropic обязуется внедрить это у себя и призывает государство требовать того же от других компаний. Второе — общие стандарты безопасности для компаний в демократических странах и лимиты на неконтролируемый прогресс; Амодеи ссылается на похожее предложение Демиса Хассабиса. Третье — глобальные соглашения с участием Китая.

Регулирование он описывает как четыре уровня. На нижнем — запрет отдельных применений ИИ, например для биологического оружия, и обязательное совместное тестирование на безопасность. На верхнем — «ограничение скорости» для рекурсивного самоулучшения, по аналогии с договорами SALT о сокращении вооружений. Полная остановка разработки, по мнению Амодеи, нереалистична: стимул нарушить такое соглашение слишком силён. Президент США Дональд Трамп ранее говорил, что выступает против замедления, поскольку стране нужно сохранять лидерство в ИИ над Китаем. Выигранное время Амодеи предлагает направить на исследования безопасности, интерпретируемость, более строгое тестирование и операционную дисциплину. Для сравнения он приводит гражданскую авиацию: сегодня она выполняет миллионы рейсов без происшествий, но на это ушли годы.

Заявление прозвучало на фоне двух других событий. Сотрудники крупных ИИ-лабораторий, включая Anthropic, заявили, что отрасль принимает экзистенциальные риски при текущем темпе. Кроме того, предупреждение вышло незадолго до сообщений о рекордном IPO Anthropic, которое, по данным источников, планируется на ноябрь. Публичный призыв к ограничениям со стороны главы компании, готовящейся к выходу на биржу, добавляет к дискуссии о безопасности ИИ измерение, связанное с ожиданиями инвесторов и регуляторов.