Математик Джейкоб Цимерман создаёт институт для доказательства безопасности ИИ

Джейкоб Цимерман, недавно получивший Филдсовскую премию, объявил о создании Mathematical A.I. Safety Institute (MAISI). Независимый исследовательский институт расположится в районе Сан-Франциско и начнёт работу в январе 2027 года. Штат составит от десяти до тридцати математиков. Одновременно Цимерман присоединяется к команде безопасности OpenAI.

Проблема, которую берётся решать MAISI, лежит в самой природе современных ИИ-систем. В криптографии стойкость шифра можно доказать математически — не перебирая все возможные атаки, а показав, что взлом невозможен в принципе. Для ИИ такого короткого пути нет: безопасность проявляется только на практике, а чёткого определения, что значит «безопасный ИИ», по мнению MAISI, нет даже в теории. Цимерман говорит, что отрасли нужен «гораздо, гораздо более высокий уровень стандарта безопасности, чем мы имеем сейчас».

Институт намерен сделать возможными формальные доказательства трёх типов утверждений. Первое — система действует ответственно и выдаёт корректные результаты. Второе — несколько ИИ-агентов, работающих вместе, не порождают нежелательных исходов. Третье — система устойчива к уязвимостям, которые пока никто не обнаружил. Это принципиально иной подход, чем принятое сегодня тестирование на известных наборах задач и состязательные атаки: последние проверяют лишь то, что уже пришло кому-то в голову.

Один из инструментов, который называет MAISI, — zero-knowledge proofs. Эти криптографические протоколы позволяют системе подтвердить, что она не жульничает, не раскрывая внутренних параметров и коммерческих секретов лабораторий. Для разработчиков это важно: доказательство безопасности не должно требовать публикации весов модели или архитектурных деталей, которые составляют интеллектуальную собственность.

Контекст инициативы — растущее давление на лаборатории ИИ со стороны регуляторов и общества. Проверки безопасности сегодня во многом опираются на эмпирические оценки: red teaming, бенчмарки, отчёты об инцидентах. Они полезны, но не дают гарантий. Математическое доказательство, если его удастся построить, стало бы более сильным аргументом — но и более дорогим: формальная верификация программного обеспечения остаётся трудоёмкой задачей даже для небольших систем, а современные нейросети содержат миллиарды параметров.

MAISI — не единственная попытка привнести математику в безопасность ИИ. Академические группы и некоммерческие организации уже работают над формальными методами верификации нейросетей, однако масштаб задачи и отсутствие общепринятых определений «безопасности» тормозят прогресс. Институт Цимермана делает ставку на концентрацию математиков высшей квалификации и независимость от корпораций — при том что сам основатель параллельно работает в OpenAI. Насколько этот баланс окажется устойчивым, покажет время: до старта института остаётся больше года.