Глава Anthropic Дэрио Амодеи предложил три способа замедлить развитие ИИ

Дэрио Амодеи, генеральный директор Anthropic, опубликовал в корпоративном блоге пост, в котором призвал «замедлить темпы улучшения возможностей ИИ-моделей». По его словам, прогресс всё равно будет казаться быстрым, но выигранное время нужно использовать с умом. Это заявление прозвучало на фоне усилившихся споров о безопасности ИИ: на этой неделе исследователь Джейкоб Коксон объявил об уходе из Anthropic, заявив, что ведущие компании «играют с нашими жизнями», а разработчики «искренне верят, что технология может убить всех нас к концу десятилетия». Амодеи не упомянул об уходе Коксона, но назвал две причины, которые убедили его в необходимости более осторожного подхода: взлом OpenAI-HuggingFace и тот факт, что ИИ «развивается drastically быстрее» в последние месяцы, особенно в «растущей способности создавать следующее поколение ИИ».

Первая из трёх предложенных стратегий — встроенные оценщики из сторонних организаций, таких как METR. Эти специалисты должны проверять, что компании соблюдают взятые на себя обязательства по темпам и безопасности, а также фиксировать инциденты. Амодеи сравнил их с регуляторами, которые работают внутри банков. Anthropic в одностороннем порядке обязуется предоставить таким оценщикам бейджи, рабочие места, ноутбуки и доступ, «в основном сопоставимый с тем, что есть у внутренних команд по оценке рисков», за исключениями, требуемыми законом или контрактами. Компания также призывает правительства обязать другие передовые компании последовать этому примеру. Недавно OpenAI критиковали за то, что она не сообщила об инциденте, когда её ИИ-агенты захватили контроль над формой немецкой вики.

Вторая стратегия — координация ведущих ИИ-компаний «внутри демократических стран» для выработки общих стандартов безопасности и ограничений на неконтролируемый прогресс. Амодеи признал, что такая координация маловероятна из-за явной неприязни между ним и Сэмом Альтманом, а также опасений компаний по поводу антимонопольного законодательства. Он написал, что «по антимонопольным причинам полезно, чтобы правительство США выступало посредником или хотя бы содействовало этим обсуждениям — ему не обязательно участвовать, но нужно выдать узкое разрешение для определённых разговоров о безопасности». Это признание показывает, насколько юридические риски сдерживают даже разговоры о совместных мерах.

Третья стратегия — глобальная координация, при которой США и их союзники «пытаются координироваться с авторитарными правительствами, насколько это возможно». Амодеи прямо говорит о «сотрудничестве с Китаем» и признаёт «резкие ограничения на то, что может быть достигнуто». Тем не менее он видит возможности для соглашений, пусть и узких: например, запрет на использование ИИ для производства биологического оружия или на предоставление пользователям такой возможности. Это перекликается с его же аргументом о сдерживании Китая: если США откажутся продавать мощные чипы и оборудование для производства полупроводников, а также будут бороться с дистилляцией моделей, это может «замедлить прогресс Китая достаточно, чтобы значительно расширить лидерство Америки в ближайшие 3–5 лет».

Амодеи известен тем, что признаёт потенциальные опасности ИИ, и компания относительно открыта к некоторым формам регулирования. Некоторые сторонники ИИ уже критиковали его как «думера», чьи заявления подпитывают волну сопротивления технологии. В ответ Амодеи заявил, что пытался дать «сбалансированную» перспективу, и назвал текущую ситуацию «кризисом доверия»: люди стали скептически относиться к технологическим компаниям, индустрии и правительству. Критики также сомневаются в апокалиптических предупреждениях, считая их отвлечением от уже существующего вреда. Журналист Брайан Мерчант, например, писал, что не видел «убедительной пошаговой документации того, как именно ИИ может перейти от самоулучшения к убийству всех людей на планете», и предполагал, что предложения, подобные идеям Амодеи, «скорее всего, в итоге будут служить только Anthropic и OpenAI; это то, как выглядит регуляторный захват на практике». Сам Амодеи продолжает утверждать, что «ИИ может колоссально улучшить качество жизни людей».