Дарио Амодеи предложил обязательный аудит ИИ и трёхуровневый план на случай безработицы

Дарио Амодеи начинает эссе «Policy on the ИИ Exponential» с метафоры из «Властелина колец»: два хоббита пытаются убедить медлительного Древоборода защитить лес от армии, которая уже рубит деревья. Политическая система — это Древобород, Anthropic — тревожные хоббиты, неурегулированный ИИ — наступающая армия. Метафора прямолинейна, но она точно передаёт логику документа: скорость развития технологии опережает скорость институциональной реакции.

До сих пор Anthropic делала ставку на требования прозрачности. Компания поддерживала законопроекты SB 53 в Калифорнии, RAISE в Нью-Йорке и SB 315 в Иллинойсе. Амодеи признаёт, что этого больше недостаточно. Переломным моментом он называет опыт с Claude Mythos Preview — моделью, которая, по его словам, нарушила глобальный ландшафт кибербезопасности и показала реальные риски для финансового сектора, критической инфраструктуры и национальной безопасности. Следующими, по его ожиданиям, станут биологические риски и угрозы, связанные с потерей контроля над автономными системами.

Предложенный Anthropic «Advanced ИИ Framework» переводит эти тезисы в конкретные нормы. Регулирование адресовано прежде всего федеральному правительству США, хотя авторы считают принципы универсальными. Правила затронут только разработчиков, обучающих модели с вычислительной мощностью свыше 10²⁵ FLOP и при этом либо зарабатывающих более $500 млн на ИИ-продуктах, либо тратящих более $1 млрд в год на ИИ-исследования. Anthropic аргументирует: именно в этом диапазоне модели становятся достаточно мощными, чтобы нести катастрофические риски. Пороги предлагается пересматривать не реже раза в год и со временем перейти от вычислительных метрик к метрикам возможностей — поскольку стоимость обучения опасных моделей будет снижаться.

Для попавших под регулирование компаний предусмотрен обширный пакет обязательств: публикация фреймворка безопасности, карточки системы для высокорисковых моделей, отчёт о рисках каждые шесть месяцев, уведомление регулятора о серьёзных инцидентах в течение 15 дней. В течение шести месяцев после вступления правил в силу компании обязаны нанять независимого аудитора без финансовых связей с ними. Чтобы исключить «шопинг по аудиторам» — выбор наиболее лояльного проверяющего, — Anthropic предлагает рейтинговую систему с назначением аудиторов. Модель для подражания — FAA: как самолёты проходят технические проверки перед выпуском, так и ИИ-системы должны получать разрешение на эксплуатацию.

Вторая часть фреймворка посвящена устойчивости общества к угрозам, которые ИИ способен ускорить. В биологической сфере предлагается трёхуровневый подход: предотвращение (модернизация биобезопасности, проверка поставщиков генного синтеза), обнаружение (системы раннего предупреждения) и готовность (защитное оборудование, ИИ-ускоренные контрмеры). В кибербезопасности — защита open-source и устаревшего программного обеспечения, поддержка операторов критической инфраструктуры. По направлениям потери контроля и автоматизированных исследований Anthropic признаёт, что её программа пока не проработана: компания указывает лишь общее направление — способность обнаруживать и отключать вышедшие из-под контроля системы.

Экономический фреймворк устроен как триггерная система. При безработице около 5% предлагаются универсальные капитальные счета с рождения, страхование зарплаты и субсидии на переобучение. При 10% — расширение страхования по безработице и помощь с базовыми нуждами. При превышении исторических максимумов — новые источники налогообложения, универсальный базовый доход, суверенные фонды благосостояния на основе ИИ-доходов или повышение налога на прирост капитала. Anthropic заявляет о готовности платить «справедливую долю», если ИИ-компании получат трансформационную прибыль.

Геополитическая часть эссе выдержана в логике холодной войны. Амодеи не рассматривает ИИ как потребительскую технологию — он ставит его в один ряд с ядерным оружием по способности перекроить расстановку сил. Его образ: страна с ИИ против страны без него — как морская пехота против средневековых мечников. Он предлагает коалицию демократий с общими цепочками поставок и ограничением экспорта чипов для автократий, а также правила подотчётности для автономного оружия и запрет на его применение внутри страны. Параллельно он предупреждает, что регуляторы вроде FDA и EMA рискуют оказаться перегружены потоком ИИ-ускоренных исследований.

Контекст публикации добавляет веса документам: в начале июня Anthropic подала черновик заявки на IPO в SEC, а на этой неделе выпустила Claude Fable 5 — первую публичную модель в классе Mythos. Компания, которая формулирует правила для отрасли, одновременно готовится стать публичной и выводит на рынок именно те модели, которые сама же называет источником системных рисков.