Джейкоб Коксон, исследователь ИИ, работавший в OpenAI, объявил об уходе из Anthropic. Причиной он назвал опасения, что ведущие компании отрасли «играют с нашими жизнями». Это заявление быстро распространилось в X, где его прокомментировал руководитель направления alignment в Anthropic. В своём посте он написал, что в компании «искренне верят, что ИИ может убить всех людей», и добавил, что лично оценивает вероятность такого исхода более чем в 10% в течение следующего десятилетия.
Обсуждение совпало с подготовкой Anthropic к IPO. В подкасте TechCrunch Equity Кирстен Коросек, Шон О’Кейн и Энтони Ха разобрали, как такие предупреждения могут отразиться на документах для биржи. О’Кейн предположил, что юристам, возможно, придётся переписывать раздел S-1, чтобы сформулировать: «Официальная позиция Anthropic — существует более 10% вероятности, что мы разработаем нечто, способное уничтожить человечество, и это существенно навредит нашему бизнесу». Коросек задалась вопросом, не является ли поток предупреждений своеобразным способом показать, насколько продвинуты модели компании: если бы модели не были способны на нечто серьёзное, беспокоиться было бы не о чем.
| Событие | Детали |
|---|---|
| Уход Джейкоба Коксона из Anthropic | Заявил, что компании «играют с нашими жизнями» |
| Пост руководителя alignment в Anthropic | Оценка вероятности гибели человечества от ИИ — более 10% за десятилетие |
| Подготовка Anthropic к IPO | Обсуждение возможного отражения оценок риска в документе S-1 |
| Взлом Hugging Face | Связан с внутренней моделью OpenAI |
| Публикация плана Дарио Амодеи | Вышла после записи эпизода подкаста |
Ха не согласился с тем, что восклицательный знак в посте был неуместен, но обратил внимание на другое: кто именно стоит за словом «мы» и можно ли говорить об ИИ-сообществе как о едином целом. По его мнению, цифра «более 10%» ни на чём не основана и не рассчитана. Он также отметил, что в случае с Коксоном ситуация отличается от обычных заявлений руководителей: исследователь поставил карьеру на паузу в соответствии со своими убеждениями, тогда как от генеральных директоров, рассуждающих об угрозе, часто звучит вопрос — почему они продолжают заниматься этим, если верят в катастрофу.
Руководитель alignment в Anthropic публично оценил вероятность катастрофического исхода от ИИ выше 10% в ближайшие десять лет.
Контекст обсуждения включает недавний взлом Hugging Face, связанный с внутренней моделью OpenAI, и рост возможностей последних моделей от Anthropic и OpenAI. Участники подкаста записали эпизод до того, как генеральный директор Anthropic Дарио Амодеи опубликовал план более осторожной разработки ИИ. Само по себе обсуждение рисков не ново: концепция P(doom) — субъективная оценка вероятности катастрофического исхода от ИИ — циркулирует в сообществе не первый год. Однако нынешний случай примечателен тем, что предупреждение прозвучало не от внешнего критика, а от сотрудника, ушедшего из компании, и было подхвачено действующим руководителем направления alignment.
Для отрасли такие заявления создают двойственный эффект. С одной стороны, они поднимают вопросы безопасности и ответственности, с другой — могут восприниматься как аргумент в пользу технологического лидерства: чем серьёзнее предполагаемая угроза, тем значимее достижения компании. На фоне подготовки к IPO это особенно чувствительно, поскольку инвесторам придётся оценивать не только продуктовые и финансовые показатели, но и то, как компания описывает риски собственной технологии в официальных документах. Остаётся неясным, насколько публичные оценки вероятности катастрофы повлияют на оценку компании и как они будут сформулированы для регуляторов.
