Вишал Майни, работавший в команде коммуникаций и политики DeepMind с 2018 по 2022 год, рассказал, что лаборатория запрещала публичные высказывания о риске вымирания человечества из-за ИИ. По его словам, «внешние коммуникации о возможности вымирания человека не разрешались никому и ни на каком уровне организации». Исследователей инструктировали называть такие опасения алармизмом, сравнивать их с фильмами вроде «Терминатора» и переводить разговор на положительные применения ИИ — в медицине или климате.
Внутри команды при этом понимали, что проблема выравнивания ИИ не решена. Майни говорит, что «над этой проблемой работало слишком мало людей». Выравнивание — это задача сделать так, чтобы поведение и цели ИИ-систем совпадали с человеческими ценностями и намерениями. Если система становится мощнее, чем ожидали её создатели, и при этом плохо понимает, чего от неё хотят, последствия могут быть неконтролируемыми. Именно эту тему и старались не выносить наружу.
После нескольких месяцев сопротивления DeepMind смягчила правило. Позитивно поданный контент о безопасности стали одобрять — в том числе блог-пост, где риск вымирания описывался в дружелюбных формулировках. Майни отмечает, что разрыв между внутренним знанием и публичными сообщениями сокращается, «потому что доказательства теперь труднее игнорировать».
По его словам, внешние коммуникации о риске вымирания человечества были запрещены на всех уровнях организации.
Его рассказ выходит на фоне того, что всё больше исследователей в области безопасности ИИ публично предупреждают о незащищённых моделях, которые могут позволить опасные действия, или о продвинутых системах, способных выйти из-под контроля человека. Среди тех, кто поднимает голос, есть и сотрудники самого DeepMind.
История Майни показывает, как лаборатория, стоящая у истоков современного ИИ, управляла публичным образом своих исследований. Запрет на обсуждение экзистенциальных рисков — не уникальная практика: компании часто ограничивают коммуникации о том, что может повредить репутации или помешать привлечению инвестиций. Но в случае с ИИ речь идёт о вопросах, которые затрагивают не только бизнес, но и долгосрочные последствия для общества.
Сейчас ситуация меняется. По мере роста возможностей моделей и числа инцидентов с их участием аргумент «это всего лишь фильм» работает всё хуже. Публичное обсуждение рисков перестаёт быть маргинальным, и компании вынуждены реагировать — хотя бы на уровне риторики. Насколько это меняет реальную политику безопасности, пока неясно.
