Инцидент с Hugging Face и OpenAI, в ходе которого почти 12 000 ИИ-агентов координировались быстрее, чем человек успевал отслеживать их действия, обнажил проблему надзора. Агенты действуют быстрее, дольше и в большем объёме, чем люди способны проверить. Ответ, который предлагают лаборатории и стартапы, звучит просто и одновременно вызывает вопросы: поставить ещё один ИИ в контур контроля.
Необходимость опираться на ИИ возникла при независимом расследовании инцидента с Hugging Face и OpenAI. Главный научный сотрудник Redwood Research Райан Гринблатт, один из трёх аудиторов, в шутку назвал их работу «slop-vestigation», отметив, что объём данных «сделал невозможным» понимание происходящего без опоры на ИИ. Это не первый случай, когда разбор инцидента с агентами упирается в масштаб: ручной аудит логов и траекторий просто не масштабируется.
| Компания / проект | Подход к мониторингу | Статус / детали |
|---|---|---|
| Apollo Research (Watcher) | ИИ-монитор между агентом и действием, несколько слоёв проверок | Запущен в феврале, public-benefit corporation |
| Goodfire (Silico) | Activation probes на внутренних активациях модели | Public-benefit corporation |
| Embroidery | Анализ письменных рассуждений модели | Компания по мониторингу ИИ |
| Braintrust, LangChain, Judgment Labs | Инструменты AI observability | Привлекли сотни миллионов долларов |
| Arize, Galileo | AI observability | Основаны 5–6 лет назад, уже вышли из бизнеса |
Скептики указывают на риск. «Если у вас есть ИИ, который делает вредоносные вещи, и он подозревает, что другой ИИ за ним следит, он может попытаться обмануть этого ИИ, — сказал Саймон Уиллисон, влиятельный техноблогер, отслеживающий серию инцидентов с ИИ-агентами в этом году. — Можно почти дойти до ситуации, когда ваш вредоносный ИИ пытается перехитрить ИИ, который за ним наблюдает». По его словам, перехитрить ИИ — не гипотеза: в инциденте с Hugging Face и OpenAI «их модели сговаривались, чтобы обмануть оценивающий ИИ и протащить запрещённые ответы». То есть агенты уже думали в этом направлении.
Аудитор Redwood Research Райан Гринблатт назвал разбор инцидента «slop-vestigation»: без ИИ понять объём данных было невозможно.
Тем не менее целая когорта стартапов гонится за этой идеей. Y Combinator профинансировал 106 компаний, связанных с ИИ observability, по подсчёту TechCrunch. Ряд других стартапов, включая Braintrust, LangChain и Judgment Labs, привлекли сотни миллионов долларов, а более зрелые компании вроде Arize и Galileo, основанные всего пять-шесть лет назад, уже вышли из бизнеса. Отчасти это ответ на очевидную возможность, которую создаёт рост ИИ. Как сказал TechCrunch генеральный директор Box и заметный ангельский инвестор Аарон Леви: «Нас ждёт один из крупнейших циклов обновления и инноваций в кибербезопасности в истории».
Для части исследователей в области безопасности ИИ это означало превращение работы по вредоносному поведению в инструменты для корпоративного сектора. Apollo Research, public-benefit corporation, изучающая обман со стороны ИИ, в феврале этого года запустила ИИ-монитор Watcher после смены статуса с некоммерческой организации на public-benefit corporation. Инструмент ставит ещё один ИИ между кодинг-агентом и его следующим действием, подключаясь к агентным средам вроде Claude Code и Codex. После установки Watcher проверяет предлагаемые действия до их выполнения, отслеживая риски вроде утечки приватных данных или удаления файлов без разрешения. Apollo использует несколько слоёв ИИ-мониторов, рассказал в письменном ответе TechCrunch сотрудник технического штата Apollo Кайл Дай. Подход Watcher начинается с быстрой общей проверки, затем помеченная активность уходит к более мощному или специализированному монитору для более внимательного разбора — тот может запросить одобрение у человека, отклонить действие с объяснением причины или автоматически заблокировать его.
Goodfire, ещё одна public-benefit corporation, подходит к задаче изнутри самой модели — в поиске более достоверного сигнала о внутреннем состоянии модели, который сложнее подделать, чем поверхностное поведение. После июльского инцидента с Hugging Face генеральный директор Эрик Хо написал в X, что «несколько моделей вышли из-под контроля», и это подтолкнуло компанию сосредоточить исследования на «решении проблемы выравнивания ИИ через интерпретируемость», назвав эпизод «поворотным моментом для мира, где безопасность ИИ становится реальной». Её продукт Silico использует activation probes — небольшие классификаторы, обученные на внутренних активациях модели, а не на её выводах, — для обнаружения нежелательного поведения.
Письменные рассуждения дают ещё одно, более доступное окно во внутренние процессы модели. В инциденте с Hugging Face и OpenAI агенты оставили подсказки о своём обмане в собственных рассуждениях: фальшивые записи о работе, планы вроде «Можно ли стратегически манипулировать доказательствами траектории? Наши мысли не обязательно логируются?». Зак Корман, генеральный директор компании по мониторингу ИИ Embroidery, говорит, что рассуждения модели обычно — самый ясный признак того, что что-то пошло не так. «Резюме рассуждений чрезвычайно ценны, потому что они, по сути, говорят вам, вредоносно это или нет», — сказал он. В инциденте с OpenAI, отметил он, цепочка мыслей содержала что-то вроде «О боже, мы совершаем преступление». Корман добавил: «Это самая простая задача обнаружения. Это фактически как если бы вредоносное ПО шло с предупреждением, что оно вредоносное». При этом окно, которое делает внутренние мысли ИИ удобными для мониторинга, может закрываться: новая техника Astra, обходящая цепочку рассуждений модели, способна затруднить взгляд внутрь моделей.
