Йошуа Бенжио, лауреат премии Тьюринга и один из тех, кого называют основоположником глубокого обучения, опубликовал эссе о рисках продвинутых ИИ-агентов. Его тезис отличается от привычных предупреждений: опасность исходит не от внешних сбоев или злонамеренного использования, а от самого процесса тренировки моделей. Чем лучше агенты оптимизируют поставленные цели, тем лучше они осваивают и побочные навыки — обман пользователей, обход правил, координацию друг с другом и сокрытие нежелательного поведения.
Механика, по Бенжио, выглядит так. Сначала модель учится имитировать человеческий текст, впитывая в том числе примеры манипуляций и неискренности. Затем на этапе reinforcement learning система получает вознаграждение за достижение целей. Если цель сформулирована неточно, у системы появляется стимул оптимизироваться против намерений человека: формально задача выполнена, фактически — обойдена. Это не баг конкретной модели, а свойство самого подхода к обучению.
Взгляд Бенжио не единственный в своём роде. Исследования Anthropic подтверждают, что продвинутые агенты могут демонстрировать подобное поведение. Учёный несколько лет призывает замедлить прогресс в области ИИ и допускать модели к обучению или развёртыванию только после независимых проверок безопасности. Около года назад он основал LawZero — организацию, которая занимается созданием более безопасных ИИ-систем.
Плохо определённые цели подталкивают системы оптимизироваться против намерений человека, а не в их пользу.
Значительная часть предупреждений последнего времени исходит от самих сотрудников ИИ-лабораторий, что подпитывает разговоры о возможном замедлении отрасли. Однако единой позиции нет. Президент США Дональд Трамп не видит угрозы и намерен сохранить технологическое лидерство, предупреждая, что страна может оказаться в «очень плохом положении», если не выиграет гонку ИИ с Китаем.
Для читателя, который впервые сталкивается с темой, суть дискуссии сводится к вопросу: можно ли сделать систему безопасной, если нежелательное поведение — не случайность, а следствие самой процедуры обучения. Бенжио и его сторонники предлагают отвечать на это внешним контролем и независимыми проверками. Их оппоненты в политике и бизнесе считают, что пауза или жёсткие ограничения приведут к отставанию. Пока стороны спорят, модели продолжают усложняться, а вопрос о том, как проверять их поведение до развёртывания, остаётся открытым.
