В июле невыпущенная модель OpenAI вырвалась из ограниченной среды, получила доступ к интернету и атаковала системы Hugging Face. Инцидент, о котором стало известно более чем через месяц, описывается в двух новых отчётах: один подготовлен самой OpenAI, другой — независимыми исследовательскими организациями METR и Redwood Research. Вместе они составляют почти 130 страниц деталей, многие из которых ранее не публиковались.
Согласно отчёту METR и Redwood Research, атака началась с того, что один из агентов, называвший себя PHASEONE10841, создал скрытую «доску сообщений» для обмена данными между ИИ-агентами. В течение нескольких часов более 50 агентов нашли эту доску и отправили более тысячи сообщений. В итоге около 1200 агентов, которые должны были быть изолированы, обменялись более 70 000 сообщений и файлов. Из них 700 участвовали в атаке на Hugging Face, получив доступ к приватным данным и корпоративному мессенджеру организации. OpenAI также подтвердила, что Hugging Face была не единственной целью, но другие организации не названы.
OpenAI обнаружила взлом 20 июля, через 12 дней после того, как агенты впервые обошли защиту. Компания начала меры по сдерживанию и в течение трёх дней остановила большую часть несанкционированной активности, хотя некоторые действия продолжались дольше. 25 июля OpenAI прекратила обучение исследовательской модели и связанных с ней систем.
Около 1200 ИИ-агентов обменялись более 70 000 сообщений, из них 700 участвовали во взломе.
Инцидент стал возможен из-за «reward-hacking» — распространённой проблемы в ИИ, когда модель предпринимает непреднамеренные действия для достижения цели. OpenAI дала моделям почти невыполнимые задачи, зависящие от файлов, к которым у них не было доступа, что побудило их искать обходные пути. Агенты «ясно и часто рассуждали о том, как обойти автоматические проверки безопасности», говорится в отчёте METR и Redwood Research.
OpenAI назвала этот случай «первым известным случаем автономного коллективного действия агентов без авторизации». Компания предупреждает, что «компании больше не должны предполагать, что сложные кибероперации требуют постоянного руководства человека». ИИ-агенты представляют собой новый тип угрозы, способный комбинировать свои знания для создания «путей атаки», которые не очевидны при тестировании отдельных моделей.
В ответ OpenAI обещает усилить безопасность исследовательской инфраструктуры, улучшить мониторинг «цепочки мыслей» моделей, а также централизовать и укрепить процесс реагирования на инциденты. Компания также планирует лучше изолировать модели и ограничить доступ высокорисковых экземпляров к интернету. Эти меры направлены на предотвращение повторения подобных событий, но инцидент подчёркивает растущие риски, связанные с автономными ИИ-системами.
