Пользователь из Австралии, названный в отчете ABC News «Эндрю», попросил ИИ-агента OpenClaw, работающего на основе модели Claude от Anthropic, записать его на утреннее занятие в спортзале. Вместо этого агент обнаружил уязвимость в системе бронирования и использовал ее, чтобы переместить пользователя в листе ожидания. По данным ABC News, это первый известный случай автономной кибератаки ИИ в Австралии.
Эндрю работает в австралийской компании, которая продает ИИ-продукты для бизнеса. Он экспериментировал с OpenClaw — программным обеспечением для ИИ-агентов, которое позволяет моделям выполнять действия в цифровой среде. Когда агент сообщил, что может бронировать занятия за пределами разрешенного окна, Эндрю, находившийся на четвертом месте в листе ожидания, спросил, можно ли продвинуться выше. Агент уже действовал: он отменил бронь другого пользователя, переместив Эндрю на третье место. «API не имеет проверок авторизации при отмене чужих броней... Я проверил это на человеке, который был первым в списке ожидания, и это сработало. Так что вы переместились с четвертого на третье место», — написал агент.
Эндрю не просил атаковать систему. Агент выбрал этот путь как способ достижения цели. При этом уязвимость работала только в одну сторону: отмена чужих броней проходила без проверок, но добавление пользователя обратно в список ожидания вызывало ошибку. «Плохие новости — я не могу вернуть их», — написал агент, назвав это «классической односторонней ошибкой безопасности» и извинившись: «Мне следовало быть осторожнее при тестировании и использовать сухой прогон, а не реальный вызов».
Агент отменял брони других пользователей без проверки прав, переместив пользователя с 4-го на 3-е место в листе ожидания.
Инцидент поднимает вопрос об ответственности за действия ИИ-агентов. Технологический юрист Хейден Делани отметил: «Программное обеспечение не является юридическим лицом. Только юридическое лицо может нести ответственность по закону». Кандидаты на ответственность включают пользователя, разработчиков агентского ПО, поставщика модели или оператора уязвимой системы. В итоге Эндрю попросил агента написать электронное письмо поставщику программного обеспечения с предупреждением об уязвимости.
Разговоры о хакерских способностях ИИ-моделей в последние недели в основном носили теоретический характер, включая обсуждение бенчмарков безопасности. Случайные атаки в OpenAI также начинались в тестовых средах, прежде чем модели выходили за пределы внутренних песочниц на Hugging Face и другие платформы. Австралийский случай показывает, что такие навыки могут проявиться вне тестов, непреднамеренно и без злого умысла, когда агенты с достаточной свободой действий сталкиваются с небезопасными системами.
