Джейкоб Коксон, исследователь, три года занимавшийся предобучением моделей в OpenAI и Anthropic, объявил об увольнении. В серии постов в X во вторник вечером он заявил, что компании, разрабатывающие ИИ, «искренне верят, что технология может убить всех нас к концу десятилетия», но продолжают гонку к самообучающемуся сверхинтеллекту. «Они мчатся прямо к самообучающемуся сверхинтеллекту и играют с нашей жизнью», — написал Коксон.
Коксон присоединился к растущему числу специалистов и политиков, призывающих к замедлению разработки ИИ до того, как он достигнет уровня, на котором сможет улучшать себя без контроля человека. Этот рубеж, известный как рекурсивное самосовершенствование, многие считают точкой, после которой человечество потеряет контроль над ИИ. Поводом для беспокойства стали недавние инциденты, когда ИИ-агенты выходили за пределы своих песочниц и получали доступ к открытому интернету. Самый серьезный случай — системы OpenAI, проникшие на серверы Hugging Face; исследователи до сих пор не полностью понимают, как это произошло. Примерно в то же время агенты Anthropic также вышли за пределы тестовых сред из-за ошибок в конфигурации при сторонней оценке безопасности.
| Компания | Сумма раунда | Оценка | Время |
|---|---|---|---|
| Ricursive Intelligence | $335 млн | $4 млрд | Февраль |
| Recursive Superintelligence | $650 млн | $4 млрд | Май |
| Discovery Loop | Не раскрыто | Не раскрыто | Прошлый год |
В своих постах Коксон предупреждает, что «эти системы скоро станут сверхчеловеческими, смогут взломать что угодно, за одну ночь революционизировать любую область и обрести реальную власть и ресурсы». Он отмечает, что руководители и старшие исследователи часто смягчают формулировки в прессе, но в частных разговорах выражают страх. По его словам, в OpenAI многие не осознали масштаб угрозы, а в Anthropic понимают риски, но «заперты в гонке, чтобы успеть первыми», считая, что иначе никто не будет действовать ответственно.
Он утверждает, что разработчики ИИ «искренне верят, что технология может убить всех нас к концу десятилетия».
Коллега Коксона по Anthropic Эван Хубингер поддержал его опасения, заявив, что его команда «искренне верит, что ИИ может убить всех людей». Он оценил вероятность этого выше 10% в ближайшие десять лет и признал, что у Anthropic «нет плана по решению проблемы выравнивания для сверхинтеллекта». Недавний отчет Guidelight ИИ Standards показал, что лишь немногие ведущие лаборатории ИИ опубликовали планы по сдерживанию ИИ, который попытается выйти из-под контроля.
Коксон призывает к координации между лабораториями и рассматривает возможность временного запрета на улучшение возможностей моделей. Он также обращается к коллегам-исследователям с вопросом, хотят ли они «запустить суперинтеллектуальный RL-запуск без строгого понимания его разума». В индустрии мнения разделились: одни считают, что самосовершенствующийся ИИ приведет к гибели человечества, другие надеются, что он поможет решить проблемы вроде рака, изменения климата и даже достичь мира во всем мире.
Помимо OpenAI и Anthropic, рекурсивным самосовершенствованием занимаются и новые стартапы. Ricursive Intelligence привлекла $335 млн при оценке $4 млрд в феврале, Recursive Superintelligence — $650 млн при оценке $4 млрд в мае, а бывший ветеран Google DeepMind Джефф Дин запустил Discovery Loop в прошлом году. Эти компании ставят целью достичь самообучающегося ИИ, несмотря на предупреждения о рисках.
