Команда Jay Guard на Habr разобрала практическую модель угроз для ИИ-агентов. Ключевое отличие от обычного чат-бота в том, что ответ LLM может стать действием: письмо отправлено, карточка в HRM создана, статус заявки изменён, данные ушли в сторонний сервис.

Из-за этого агентные системы требуют другого уровня контроля. Ошибка модели или промпт-инъекция уже не заканчивается неточным текстом. Агент действует от имени компании и использует выданные ему права. В классическом сценарии confused deputy злоумышленнику достаточно подложить инструкцию в резюме, письме или документе, чтобы агент легально вызвал разрешённый инструмент с нежелательными параметрами.

Авторы выделяют пять точек риска: права и учётные данные, данные, которые уходят в LLM, инструменты и действия агента, файлы и память, а также правовой контур. Один договор, резюме или клиентская заявка может одновременно попасть в контекст модели, CRM, почту, логи и историю агента. Поэтому один фильтр перед моделью не закрывает задачу.

Авторы выделяют пять зон контроля: права, данные в LLM, инструменты, файлы и память, правовой контур.

Практическая защита начинается с принципа минимальных привилегий. Агент должен видеть только те данные и вызывать только те инструменты, которые нужны для конкретного процесса. Дальше требуется журнал действий: важно проверять не только текст ответа, но и каждый вызов инструмента, параметры запроса, изменения во внешних системах и то, что сохраняется в памяти.

Отдельный слой — контроль чувствительных данных. В материале описан DLP-модуль, который распознаёт более 25 типов информации: ФИО, телефоны, адреса электронной почты, банковские реквизиты, токены доступа и другие значения. В зависимости от политики он может только фиксировать событие в аудите, блокировать запрос или заменять чувствительные данные заглушками перед передачей в модель.

Для российских компаний важен и правовой контур. Если агент работает с персональными данными, финансовой информацией или клиентскими документами, техническая схема должна быть согласована с требованиями ИБ, 152-ФЗ и внутренними регламентами. ИИ-агент становится частью бизнес-процесса, поэтому его нужно проектировать как интеграцию с правами, аудитом и ответственностью, а не как экспериментальный чат.