Эван Хубингер, возглавляющий одну из команд безопасности в Anthropic, заявил, что вероятность того, что искусственный интеллект уничтожит человечество в ближайшие десять лет, превышает 10%. Это признание прозвучало в ответ на публикацию Джейкоба Коксона, исследователя, который ранее тренировал системы ИИ в Anthropic и OpenAI, о своем уходе из компании. Коксон обвинил обе компании в том, что они "мчатся к самоулучшающемуся сверхинтеллекту и играют с нашей жизнью", несмотря на то, что разработчики "искренне верят, что ИИ может убить нас всех к концу десятилетия".
Хубингер согласился с оценкой Коксона, отметив, что самоулучшающийся ИИ развивается быстрее, чем ожидалось. Однако он признал, что у Anthropic "пока нет плана" по обеспечению безопасности продвинутого ИИ и его соответствия человеческим ценностям, и компания "не на пути" к его созданию. Это заявление подчеркивает парадокс: разработчики осознают риски, но продолжают ускоряться, опасаясь конкурентов. Коксон описывает ситуацию как "гонку", в которой компании вынуждены рисковать, чтобы не отстать.
Уход Коксона — один из самых громких случаев увольнения из-за опасений по поводу безопасности ИИ. Ранее несколько исследователей покинули OpenAI, ссылаясь на аналогичные причины. Anthropic была основана бывшими сотрудниками OpenAI, которые ушли из-за разногласий по вопросам безопасности. Теперь компания сталкивается с внутренней критикой, а также с внешним давлением в преддверии ожидаемого IPO. Инциденты с "непослушными" агентами и предупреждения о сложности мониторинга передовых моделей добавляют напряженности.
Исследователь Джейкоб Коксон уволился из Anthropic, обвинив компанию и OpenAI в гонке к самоулучшающемуся сверхинтеллекту.
Обсуждение рисков ИИ часто сводится к концепции рекурсивного самоулучшения, когда система ИИ улучшает собственный код, что может привести к выходу из-под контроля. Пока такие системы не созданы, но компании активно работают над ними, и значительная часть современного кода уже пишется с помощью ИИ. Это создает замкнутый круг: чем больше ИИ участвует в разработке, тем быстрее он развивается, и тем сложнее предсказать его поведение.
Заявление Хубингера — редкий случай, когда высокопоставленный представитель крупной лаборатории ИИ публично признает высокую вероятность катастрофических последствий. Это может усилить давление на регуляторов и общественность, требуя более строгих мер контроля. Однако, как показывает практика, даже признание рисков не останавливает гонку за лидерство в разработке ИИ.
