Google DeepMind открыла институт для расширения дискуссии об AGI

В среду Google и Google DeepMind объявили о создании DeepMind Institute — структуры, которая должна расширить обсуждение искусственного общего интеллекта (AGI) за пределы корпоративных лабораторий. Директорами института указаны соучредитель DeepMind Шейн Легг, топ-менеджер Google Джеймс Маньика и председатель Google DeepMind Демис Хассабис. Легг также назначен управляющим редактором.

Заявленная цель — не выработать единую позицию, а показать разногласия между Google, Google DeepMind и внешним исследовательским сообществом. В анонсе говорится, что участники «не всегда будут соглашаться и, вероятно, будут менять мнение по мере появления новых данных». Первая подборка включает четыре эссе: экономическая политика для управления возможными потрясениями от AGI, сохранение читаемости рассуждений моделей, принципы человеческого процветания и рамка оценки фронтирных ИИ-моделей.

Одно из эссе, написанное исследователями по безопасности DeepMind Рохином Шахом и Анкой Драган, посвящено сокращающемуся окну прозрачности ИИ — возможности видеть и проверять пошаговые рассуждения модели. Авторы утверждают, что это не неизбежность. По мере того как новые архитектуры делают мощные модели менее наблюдаемыми, разработчики и регуляторы должны напрямую confront the safety trade-offs. Это может означать ограничение «непрозрачной последовательной глубины» — объёма последовательных вычислений, которые модель выполняет без читаемого следа рассуждений, — или требование к разработчикам доказывать, что менее прозрачные системы остаются столь же контролируемыми.

В другом эссе Хассабис предлагает создать в США орган по стандартам фронтирного ИИ для оценки самых передовых моделей. По его схеме разработчики сначала добровольно предоставляют модели на проверку за 30 дней до выпуска. После того как система оценки докажет эффективность, прохождение тестов может стать обязательным условием для развёртывания фронтирных моделей в США. Орган сначала будет разрабатывать оценки в консультации с ИИ-компаниями, но со временем перейдёт к независимым, нераскрываемым тестам — так называемым «отложенным» проверкам, чтобы лаборатории не могли подстроить модели под известные оценки. Хассабис отметил, что рамку можно «ужесточить, если серьёзность ситуации потребует», вплоть до скоординированного замедления среди разработчиков фронтирного ИИ.

Эссе выходят на фоне сдвига в отраслевой дискуссии о безопасности: от широких заявлений о беспокойстве к конкретным предложениям по раскрытию информации, внешнему контролю и, если защитные меры отстают, скоординированным замедлениям. Этот сдвиг ускорился на этой неделе, когда лидеры отрасли поддержали элементы призыва генерального директора Anthropic Дарио Амодеи к «замедлению» разработки фронтирного ИИ. Институт DeepMind становится ещё одной площадкой, где такие предложения будут формулироваться и оспариваться.