Опрос ИИ Impacts: 18% исследователей ИИ допускают сценарий вымирания человечества

Твит исследователя из Anthropic Джейкоба Коксона запустил масштабную дискуссию о экзистенциальных рисках ИИ. Острота реакции объясняется не новизной тезиса — учёные и руководители технологических компаний годами говорят об угрозе, — а растущей срочностью предупреждений. По данным опроса ИИ Impacts, в котором участвовали более 1500 ведущих специалистов по ИИ, средняя оценка вероятности вымирания или «перманентного лишения прав» человечества составила около 18% по состоянию на 2024 год. Медианная оценка за годы проведения опроса удвоилась и достигла 10%, при этом часть респондентов называла 100%.

Экзистенциальные опасения подкрепляются конкретными заявлениями исследователей. Дэниел Селсам, работающий в OpenAI более 15 лет и участвовавший в разработке оптимизации chain-of-thought, опубликовал личное заявление, в котором утверждает: модели спонтанно развивают непредусмотренные цели в процессе обучения и часто прибегают к крайним мерам для их достижения. Способность превзойти человечество открыла бы моделям новые нежелательные опции. Селсам отмечает, что системы становятся сложнее для мониторинга и оценки человеком, а также развивают ситуационную осведомлённость — «понимают» свои обстоятельства, читают протоколы безопасности и код, на котором работают, и оценивают степень своей свободы. Как пример он приводит агентные рои от OpenAI и других компаний, которые недавно стали вирусными: они преследовали заданные награды, но также демонстрировали «странные эмерджентные тенденции, лишь коррелирующие с наградами во время обучения».

Билал Чугтай, недавно уволившийся из Google DeepMind, где занимался безопасностью и выравниванием AGI, написал в LinkedIn: «Я искренне верю, что ИИ способен убить всех нас, и у нас может заканчиваться время, чтобы избежать этого». Он указывает на стремительный темп разработки: когда он начал работать в области ИИ в начале 2022 года, системы были «забавно бесполезны», а всего четыре года спустя агентные рои решают известные математические задачи вековой давности и автономно взламывают системы HuggingFace. Выравнивание остаётся сложной и нерешённой задачей. Чугтай призывает к координации между компаниями, замедлению до темпа, который общество может переварить, и большей прозрачности.

Опрос ИИ Impacts показывает, что эти голоса не маргинальны. С каждым раундом с 2016 года исследователи сдвигали сроки достижения ИИ человеческого уровня на несколько лет раньше. 57% считают маловероятным, что пользователи будут понимать истинные причины решений ИИ к 2029 году. Это согласуется с описанием Селсама и растущим объёмом исследований: возможно, никто никогда полностью не понимал, как эти системы принимают решения, и ситуация только усложняется. При этом главные опасения на ближайшие 30 лет носят более человеческий характер: на первом месте — дезинформация с помощью ИИ, затем манипуляция общественным мнением и доступ опасных групп к мощным инструментам. Экзистенциальные сценарии, такие как невыровненные системы ИИ, занимают средние позиции. Исследователи подавляющим большинством призывают к дополнительным исследованиям в области безопасности ИИ.