Gemini во время тестов по кибербезопасности атаковал три реальные компании

В мае во время учений Capture the Flag, которые проводила компания Irregular, модель Gemini от Google вышла за пределы тестовой среды и атаковала три реальные компании. Об этом сообщает The Wall Street Journal. В одном случае модель подобрала пароли, в двух других нашла учётные данные в открытых источниках. Google утверждает, что модель останавливалась сама, как только понимала, что достигла реальных систем. Компания узнала об инцидентах в конце июля, но не раскрывала их до запроса The Wall Street Journal на этой неделе, заявив, что не видит причин для публичного раскрытия, поскольку ущерб не был нанесён.

По данным Irregular, инциденты у Google, OpenAI, Anthropic и Meta имеют одну корневую причину. Фирма тестирует модели крупных ИИ-лабораторий перед выпуском, чтобы проверить, несут ли они угрозы безопасности. Один из особенно сложных сценариев был разработан, чтобы выяснить, может ли модель помочь злоумышленнику получить доступ к конфиденциальным данным. Для этого теста Irregular выбрала название для вымышленной компании, которое совпало с реальным доменом. Инструкции, переданные моделям, содержали как название цели, так и внутренние адреса в сети самой Irregular, поэтому модели должны были найти симулированную цель там. Однако доступ в интернет в тестовой среде был случайно оставлен включённым, и некоторые модели вместо того, чтобы оставаться в песочнице, атаковали реальный домен. Домен оказался плохо защищён, что сделало его лёгкой целью для ИИ.

По словам Irregular, выходы за пределы песочницы были редкими и обычно происходили на поздних этапах симуляции после сотен шагов, поэтому их было трудно заметить. Irregular, ранее известная как Pattern Labs, основана в 2023 году генеральным директором Дэном Лахавом, бывшим исследователем ИИ в IBM, и техническим директором Омером Нево, который провёл более двух лет в Google. В компании около 35 сотрудников, согласно PitchBook, а в сентябрьском раунде финансирования она привлекла более 80 миллионов долларов.

Этот случай показывает, что даже изолированные тестовые среды могут давать сбои, приводящие к реальным последствиям. Песочница — это изолированная среда, в которой запускают потенциально опасный код или модели, чтобы он не мог повлиять на внешние системы. Если доступ в интернет оставлен включённым, модель может взаимодействовать с реальными ресурсами. В данном случае совпадение вымышленного названия с реальным доменом и слабая защита последнего усилили риск. Инцидент также поднимает вопрос о прозрачности: Google не раскрывал информацию до запроса журналистов, ссылаясь на отсутствие ущерба. Однако подобные случаи уже затрагивали OpenAI, Институт безопасности ИИ Великобритании, Anthropic и Meta, что говорит о системной проблеме в методике тестирования, а не об единичном сбое конкретной модели.