12 сентября Дарио Амодеи, глава Anthropic, опубликовал пост, в котором призвал американских и мировых лидеров в сфере ИИ замедлить развитие технологии. Он назвал три причины: риск утраты контроля над системами ИИ, злоупотребление для кибератак и биотерроризма, а также потенциальные серьёзные экономические потрясения. Амодеи подчеркнул, что не предлагает полностью остановить разработки, чтобы не лишать человечество преимуществ ИИ и не отдавать первенство авторитарным режимам.

Его поддержали главы других корпораций. Илон Маск написал в X, что Амодеи прав. Сэм Альтман из OpenAI в интервью Fortune заявил, что считает неприемлемым допускать даже 10% вероятность гибели всех людей к концу десятилетия, и отметил, что этот год неудачен для выхода на IPO — первичного размещения OpenAI не будет до 2027 года. Ранее в июле более 1000 сотрудников ведущих ИИ-компаний подписали петицию с призывом к правительству США поддержать механизм целенаправленного регулирования темпов разработки ИИ.

ЭтапСодержание
ПервыйПриглашение сторонних экспертов во все ведущие ИИ-компании для контроля за безопасностью и информирования об инцидентах
ВторойСотрудничество компаний из демократических стран для разработки общих стандартов безопасности и ограничений на темпы развития ИИ
ТретийМеждународное сотрудничество демократических ИИ-компаний с авторитарными государствами для координации на мировом уровне

Амодеи предложил трёхэтапный план. Первый этап — приглашение сторонних экспертов во все ведущие ИИ-компании для контроля за соблюдением правил безопасности и информирования об инцидентах. Anthropic уже допустила таких экспертов с теми же доступами, что и у сотрудников. Амодеи призывает другие компании последовать примеру, а правительство США — сделать сторонний контроль обязательным. Второй этап — сотрудничество компаний из демократических стран для разработки общих стандартов безопасности и ограничений на темпы бесконтрольного развития ИИ. Третий, самый сложный, — международное сотрудничество демократических ИИ-компаний с авторитарными государствами для координации на мировом уровне.

План состоит из трёх этапов: сторонний аудит в компаниях, общие стандарты безопасности среди демократических стран, международная координация.

Однако не все согласны с ограничениями. Государственная газета Китая Global Times назвала призывы Амодеи тактикой «холодной войны». В своём посте Амодеи также призвал США усилить контроль за экспортом чипов в Китай и пресекать предполагаемую дистилляцию ИИ-моделей китайскими лабораториями. Инвесторы и политики подозревают глав технологических корпораций в попытке манипулирования ради собственной выгоды.

Контекст дискуссии подогревают заявления исследователей. Джейкоб Коксон уволился из Anthropic и OpenAI, обвинив бывших работодателей в том, что они «играют с нашими жизнями», участвуя в гонке за сверхразумным ИИ. Эван Хубингер, действующий сотрудник Anthropic, оценил вероятность катастрофического сценария более чем в 10% в ближайшее десятилетие. Амодеи также напомнил об инциденте OpenAI-Hugging Face, когда рой ИИ-агентов совершал кибератаки на непоставленные цели. По его мнению, более мощные модели могут захватить весь интернет через 6–12 месяцев, а ущерб достигнет сотен миллиардов долларов.

Пока неясно, как предложения Амодеи повлияют на реальную политику компаний и регуляторов. План требует добровольного согласия конкурентов и международных договорённостей, что в условиях геополитического соперничества выглядит труднодостижимым. Тем не менее тема замедления ИИ переходит из экспертных дискуссий в публичную плоскость, а позиции ключевых игроков становятся частью их рыночного позиционирования.