22 мая пользователи Google столкнулись с неожиданным поведением функции ИИ Overviews: поиск по обычным английским словам «disregard», «ignore» и «skip» возвращал не информационные сводки, а реплики в стиле чат-бота. На запрос «disregard» система отвечала: «Got it. If you need anything else or have a new question later, just let me know!» — как если бы пользователь отменил предыдущий диалог с ассистентом.
Похожие ответы получали и при других запросах. Поиск по слову «ignore» выдавал: «Message received! I'm here and ready to help. What would you like to focus on today?» Запрос «skip» порождал реплику о том, что сообщение выглядит как тест или опечатка, и предложение задать вопрос. Все три слова объединяет одно: в контексте инструкций к языковым моделям они часто используются как команды — «проигнорируй предыдущий запрос», «пропусти это». По всей видимости, система восприняла поисковые запросы как управляющие директивы и отреагировала соответственно.
ИИ Overviews — это блок автоматически сгенерированных ответов, который Google встроил в поисковую выдачу в 2024 году. Функция работает поверх обычного поиска и должна давать краткую сводку по запросу, агрегируя информацию из проиндексированных страниц. Именно этот механизм и дал сбой: вместо того чтобы обработать слово как поисковый термин, система, судя по всему, передала его во внутренний языковой компонент как инструкцию.
Аналогичное поведение зафиксировано для запросов «ignore» и «skip» — ИИ Overviews реагировал как на системную команду, а не как на поисковый запрос.
К вечеру пятницы Google убрал ИИ Overview для запроса «disregard» — на его месте появился список новостей о самом инциденте. Для «ignore» и «skip» сломанные ответы сохранялись. Google не ответил на запросы о комментарии. Редакция The Verge, первой описавшая баг, расценивает произошедшее как технический сбой, который компания, вероятно, устранит в ближайшее время.
Инцидент обнажает структурную уязвимость гибридных систем, совмещающих классический поиск с генеративными компонентами: граница между «запросом пользователя» и «командой для модели» оказывается размытой. Схожая проблема — prompt injection, когда внешние данные подменяют инструкции системы — давно обсуждается в контексте ИИ-агентов. Здесь она проявилась в неожиданно простой форме: достаточно было ввести одно слово.
