Google DeepMind объявила о запуске первого двойного слепого тестирования проприетарной frontier-модели ИИ. Пилотный проект, о котором компания сообщила в конце августа 2026 года, проводится совместно с Сингапурским институтом безопасности ИИ и другими партнерами. эксперимента модель из линейки Gemini Flash Lite проходит оценку на конфиденциальных бенчмарках, при этом ни разработчик модели, ни оценщики не имеют доступа к тестовым вопросам и весам модели соответственно.
Проблема, которую решает этот подход, известна как загрязнение бенчмарков (benchmark contamination). Если модель уже видела тестовые вопросы во время обучения, результаты оценки становятся ненадежными: модель может показывать высокие результаты, не демонстрируя реальных способностей. Традиционно для предотвращения утечки использовались протоколы нулевого логирования и контрактные обязательства, но они не дают полной гарантии. Google DeepMind предлагает криптографический метод: внешние тесты хранятся в зашифрованном «боксе», и модель не может использовать их для оптимизации под конкретные вопросы.
Ключевая инновация — использование Confidential Space из портфеля конфиденциальных вычислений Google Cloud. Эта технология позволяет криптографически гарантировать, что и тестовые данные, и модель остаются приватными для своих владельцев. Оценщик не видит веса Gemini, а Google не видит тестовые промпты. Это устраняет дилемму, с которой сталкивались чувствительные оценки: либо передавать тестовые вопросы провайдеру модели, либо передавать веса модели оценщику, рискуя интеллектуальной собственностью.
Внешние тесты хранятся в криптографическом «боксе» с использованием Confidential Space от Google Cloud.
Недавний пример такой дилеммы — задержка оценки ARC-AGI для модели Fable 5 от Anthropic, вызванная политикой компании по 30-дневному хранению данных для самых мощных моделей. Двойное слепое тестирование призвано исключить подобные компромиссы.
По мнению DeepMind, криптографическая защита особенно важна для оценок в чувствительных областях, таких как кибербезопасность или тесты, проводимые государственными органами. Это позволит независимым организациям тестировать передовые модели без ущерба для безопасности данных. Google надеется, что этот подход станет новым стандартом в области надзора за ИИ и повысит доверие к системам искусственного интеллекта в целом.
Детали методологии и результаты пилотного проекта компания представила в техническом отчете.
