13 августа 2026 года на совещании рабочей группы по регулированию и административным барьерам ИИ «Яндекс» представил концепцию национального датасета для оценки соответствия ИИ-систем духовно-нравственным ценностям и требованиям российского рынка. Об этом сообщил «Коммерсант» со ссылкой на источник, близкий к Минцифры. Информацию подтвердил один из участников совещания, отметив, что проект находится на стадии концепции.
Бенчмарк представляет собой стандартизированный набор контрольных заданий с эталонными ответами. Он позволяет сравнивать качество разных ИИ-моделей по единым критериям. В отличие от простых тестов, современные бенчмарки проверяют способность ИИ-модели решать реальные рабочие задачи — например, выгружать данные из базы или формировать отчеты. Однако в случае с оценкой ценностей жесткого эталона быть не может, отмечает директор по информационной безопасности GreenData Роман Перепонов: для задач с однозначным ответом существует четкий эталон, а для оценки соответствия ценностям требуется рубрикаторная или экспертная оценка.
Обсуждение национального бенчмарка выявило ключевой конфликт между требованиями безопасности и потребностью отрасли в прозрачных инструментах оценки. ФСБ России настаивает на закрытом формате датасета, опасаясь, что при открытом доступе разработчики смогут настроить ИИ-модели специально под прохождение тестирования. Представители бизнеса, напротив, заявили, что полностью закрытый формат может оказаться несообразно сложным и не позволит быстро развивать ИИ-модели. В качестве компромисса предложен комбинированный формат: открытый бенчмарк для предварительной проверки и закрытый — для финальной, с идентичными тематиками, но другими формулировками вопросов.
ФСБ настаивает на закрытом формате бенчмарка, бизнес — на открытом, обсуждается компромисс.
Остается открытым вопрос о том, кто будет определять содержание бенчмарка. ИТ-сообщество предлагает создать совместную комиссию с участием органов власти, бизнеса и экспертных организаций. В аппарате профильного вице-премьера Дмитрия Григоренко сообщили, что 17 августа 2026 года все предложения проходят обсуждение с отраслью и заинтересованными ведомствами на площадке рабочих групп. В Минцифры подчеркнули, что подзаконные акты к закону об ИИ еще обсуждаются с бизнесом, ключевая задача — соблюсти интересы отрасли и пользователей.
Бизнес-архитектор ИИ-проектов «Авандок» Алексей Борщов предупреждает: закрытые эталонные ответы — обязательное условие для безопасности ИИ-модели, поскольку любой публичный бенчмарк рано или поздно ломается даже обычным скриптом. Однако когда разработчик не знает даже категорий проверки, тест превращается в лотерею, а не программирование нейронной сети. Таким образом, выбор формата бенчмарка напрямую повлияет на скорость развития российских ИИ-моделей и их соответствие государственным приоритетам.
