Навыки (skills) стали популярным способом расширять возможности ИИ-агентов без переобучения. Вместо того чтобы каждый раз решать задачу с нуля, агент обращается к компактному набору инструкций: какие шаги выполнить, что проверить, каких ошибок избегать. До сих пор эффективность навыков оценивали лишь по тому, решает ли агент больше задач с ними или без них. Почему они работают, оставалось неясным.
Группа исследователей из Принстонского университета, Калифорнийского университета в Сан-Диего и других школ провела контролируемые эксперименты, сравнив поведение агентов с навыками и без них на одинаковых задачах в 8 135 тестовых запусках. Главный вывод: навыки помогают в основном потому, что дают агенту надежный процесс, а не потому, что восполняют недостаток фактов. Эта «процедурная основа» объяснила 65,7% случаев, когда агент с навыком работал лучше. Прямая передача знаний помогла лишь в 4,5% случаев.
| Показатель | Значение |
|---|---|
| Доля успеха за счет процедурной основы | 65,7% |
| Доля успеха за счет прямой передачи знаний | 4,5% |
| Доля ошибок из-за механического применения навыка | 10% |
| Точность поиска при 5 навыках | 29,6% |
| Точность поиска при 100 навыках | 3,3% |
Навыки стабилизируют действия агента: какие шаги настройки выполнить, какие инструменты и в каком порядке использовать, какие промежуточные проверки нужны. Это заметно сокращает ошибки выполнения, например, при подготовке рабочей среды или при неверном формате вывода. Однако навыки создают и новый источник ошибок: в 10% случаев агент применял полезный в целом сценарий механически или не по ситуации. На задачах, требующих принципиально иного решения, неподходящий навык, очевидно, не помогает. При этом точное совпадение не обязательно: родственные навыки часто дают достаточное направление.
Прямая передача знаний помогла лишь в 4,5% случаев, а в 10% случаев навык применялся механически или не по назначению.
Вторая проблема — поиск нужного навыка. Когда библиотека навыков вырастает с 5 до 100 записей, точность поиска в реальном использовании падает с 29,6% до 3,3%. Особенно сложно выбрать между похожими вариантами. Исследователи утверждают, что использование навыков следует рассматривать как жизненный цикл: более совершенные самообучающиеся агенты появятся не от накопления опыта, а от надежных способов создавать, находить и применять навыки.
Это исследование важно для разработчиков ИИ-агентов, которые полагаются на библиотеки навыков. Оно показывает, что ключевой вызов — не в объеме знаний, а в процедурной надежности и поиске. Практический вывод: стоит инвестировать в улучшение механизмов выбора навыков и в контроль за их применением, а не просто расширять библиотеку.
