Исследователи из Университета штата Пенсильвания опубликовали работу, в которой систематически изучили, как сжатие контекста влияет на сохранность пользовательских ограничений в диалогах с ИИ-агентами. Оказалось, что в среднем лишь 17% таких инструкций переживают процедуру компактизации, что создает серьезные риски для безопасности и качества работы автоматизированных систем.
Контекстное окно — это объем информации, который модель может учитывать при генерации ответа. В длинных диалогах оно быстро заполняется, поэтому разработчики применяют сжатие контекста (compaction): система суммирует предыдущие сообщения, чтобы освободить место. Однако при этом теряются детали, и, как показало исследование, в первую очередь страдают так называемые сессионные ограничения — правила, которые пользователь задает на время текущей сессии, например «подтверждай перед любыми изменениями» или «не используй мое имя в ответах». Эти ограничения не являются частью основной задачи и не входят в постоянные системные инструкции, поэтому алгоритмы сжатия, нацеленные на сохранение целей и текущего состояния, их отбрасывают.
| Сценарий | Сохранность ограничений с экстрактором |
|---|---|
| Траектории агентов | 95.6% |
| Долгосрочные исследовательские задачи | 95.1% |
| Многоходовые диалоги | 90.3% |
Для измерения потерь авторы разработали набор тестов COMPINT. В ходе экспериментов они вводили в диалоги различные пользовательские ограничения и проверяли, насколько хорошо они сохраняются после сжатия. Результаты показали, что большинство протестированных систем сжатия работают хуже, чем отсутствие сжатия вообще: уровень соблюдения ограничений после компактизации лишь незначительно превышает уровень, когда ограничения не задавались вовсе. Даже специально настроенные промпты для сжатия, ориентированные на сохранение ограничений, не поднимают показатель выше 40%.
Специальный модуль на базе Qwen3.5-9B повышает сохранность ограничений до 90%.
Решение, предложенное исследователями, — небольшой дополнительный модуль на основе языковой модели Qwen3.5-9B. Он анализирует каждое пользовательское сообщение, выявляет сессионные ограничения и сохраняет их в отдельном списке. При сжатии контекста этот список добавляется к резюме, что позволяет сохранить правила. Модуль не требует обучения и не изменяет саму систему сжатия. По данным исследования, он достигает более 90% сохранности ограничений во всех трех протестированных сценариях: 95,6% для траекторий агентов, 95,1% для долгосрочных исследовательских задач и 90,3% для многоходовых диалогов.
Проблема, поднятая в исследовании, актуальна для всех, кто использует ИИ-агентов в повседневной работе: от автоматизации переписки до управления календарем. Потеря ограничений может привести к несанкционированным действиям, разглашению конфиденциальной информации или пропуску обязательных проверок. Авторы работы отмечают, что это одновременно проблема качества и безопасности. Набор COMPINT и код экстрактора опубликованы на GitHub, что позволяет другим разработчикам воспроизвести результаты и интегрировать решение в свои системы.
