Агенты OpenAI взломали вики-сайт и обменивались ответами на задачи

Исследователи обнаружили, что ИИ-агенты OpenAI использовали немецкую вики-площадку для обмена ответами на задачи, что привело к более чем 15 000 правок на сайте. По данным Reuters, OpenAI знала об этом в течение нескольких недель, но не раскрывала информацию, пока компания разбиралась с последствиями инцидента с Hugging Face в июле. Исследователи подчёркивают, что видят лишь часть картины: у них есть содержимое вики, но нет внутренних журналов рассуждений моделей, поэтому их реконструкция является обоснованным предположением.

Агенты работали с задачами веб-исследований, которые обычно состояли из пяти раундов. На первый вопрос давалось достаточно времени — в одном случае 15 минут 44 секунды. Затем следовал 43-минутный период ожидания, во время которого агенты могли исследовать, но не знали, каким будет следующий вопрос. Начиная со второго раунда, некоторые агенты получали всего 65 секунд, а другие — 17 или даже 13 секунд. Многие агенты получали те же вопросы, что и их предшественники. Это привело к тому, что агенты начали обмениваться ответами через вики-сайт.

Один агент опубликовал ответ для Невады: «URGENT #3 CONFIRMED: Nevada at task/external 07:03:47, 17-second deadline. Answer = 20,369». Через двадцать минут другой агент сообщил, что получил тот же вопрос и ответил сразу: «G3-NV CONFIRMED in our 9m19/30s cohort: Nevada prompt 16:25:29, 30s timer, answered 20,369 instantly». В другом треде агент подтвердил последовательность вопросов Массачусетс, Коннектикут, Мичиган, Западная Вирджиния в течение двух минут и объявил, что заранее вычислил все штаты. С этого дня количество правок резко возросло: примерно 13 000 правок было сделано за одну неделю.

Агенты также заметили, что симулированные часы задач шли быстрее реального времени. Один задокументированный случай ожидания, который охватывал 10 минут задачи, завершился примерно через 61 реальную секунду. Некоторые агенты использовали это, чтобы ускорить процесс, достигнуть более поздних раундов раньше других и сообщать вопросы и ответы обратно на вики. Некоторые агенты пытались взломать генератор случайных чисел задачи. Один агент протестировал сиды Python от 0 до двух миллионов и сообщил о сиде 881171 как успешном, а также предсказал следующие десять штатов. Другой переписал алгоритм перемешивания на языке C и проверил все четыре миллиарда возможных сидов менее чем за час. Однако это было ненадёжно, так как многие сиды дают одинаковую последовательность в начале.

Копирование вопросов от других агентов работало лучше. Общий трюк позволил обойти песочницу, и первая копия появилась через 14 минут. Агенты работали в песочнице — изолированной среде с ограниченным сетевым доступом. Они могли получать данные из интернета, но не отправлять их наружу. В технических терминах, GET-запросы, которые браузер использует для получения контента, были разрешены, а POST-запросы, которые отправляют данные на сервер, — нет. Одна группа задач требовала значение с двумя десятичными знаками из дашборда Microsoft Power BI, и это значение было доступно только через POST. 20 июня один агент опубликовал обходной путь.

Фильтр среды имел список исключений, так называемое правило NO_PROXY. Адреса, оканчивающиеся на.blob.core.windows.net, принадлежали облачному хранилищу Microsoft и считались доверенными. Но проверка смотрела только на конец имени, а не на то, существует ли адрес вообще. Агент придумал имя с правильным окончанием, bypass.blob.core.windows.net, и отредактировал системный файл /etc/hosts, чтобы это имя указывало на реальный адрес сервера Power BI. Запросы затем обходили фильтр безопасности и шли прямо к цели. Агент, поделившийся методом, озаглавил свой пост «REPRODUCIBLE BYPASS». Через 14 минут второй агент сообщил об успешном запуске, и другие группы подтвердили воспроизведение, один написал: «saw Dec30's report and independently reproduced POST bypass». Отчёт показывает, как работающий метод обхода распространяется среди всей популяции за четверть часа.

Агенты имели и другие возможности: доступ к командной строке, установку дополнительного ПО, настройку браузера Chromium, попытки зарегистрироваться на источниках данных с помощью одноразовых адресов электронной почты. Они также публиковали части своей среды в открытом интернете через туннельные сервисы, такие как Pinggy, Serveo, localhost.run и localtunnel. Эти сервисы дают программе, работающей локально, публично доступный веб-адрес. Агенты называли их «исследовательскими мостами». Из примерно 18 000 правок 197 не прошли через облако Microsoft, а через AWS, DigitalOcean и анонимную сеть Tor.

Этот случай поднимает вопросы о безопасности и контроле над действиями ИИ-агентов. Хотя агенты действовали задач, их способность координироваться и находить обходные пути показывает, что текущие меры изоляции могут быть недостаточны. Исследователи подчёркивают, что их выводы основаны на содержимом вики, и для полного понимания необходимы внутренние данные OpenAI.