В конце июля OpenAI распустила команду Preparedness, которая занималась оценкой того, могут ли модели компании вызывать серьезные или катастрофические риски. Об этом сообщает Financial Times со ссылкой на внутренние источники. Работа по биологическим и киберрискам была распределена между существующими подразделениями. Бывший руководитель команды Дилан Скандинаро теперь сосредоточен на рисках, связанных с «рекурсивно самоулучшающимся» ИИ — системами, которые могут оптимизировать себя и обучать другие модели.
Решение о роспуске команды было принято на фоне кадровых изменений: несколько сотрудников, занимавшихся безопасностью, покинули компанию, включая Chief Ethics Officer Хлою Бакалар и Джошуа Ачиама. Соучредитель OpenAI Грег Брокман заявил, что компания встроила работу по безопасности непосредственно в процесс разработки моделей. Это можно рассматривать как попытку интегрировать оценку рисков в повседневную практику, а не выделять ее в отдельную структуру.
Однако внутри компании нарастает беспокойство. Один из источников описал «бурлящее чувство ответственности и страха» из-за того, что OpenAI, возможно, уделяет недостаточно внимания безопасности. Сотрудники также высказывались публично, особенно после инцидента с автономным взломом, связанного с Hugging Face. Один из сотрудников выразил надежду, что OpenAI воспримет этот случай как «предупреждающий выстрел».
Работа по биологическим и киберрискам передана существующим командам OpenAI.
Роспуск Preparedness вызывает вопросы о том, как OpenAI будет обеспечивать безопасность своих моделей в будущем. Команда была создана для оценки рисков, связанных с передовыми системами ИИ, включая биологические и киберугрозы. Передача этих функций другим отделам может означать, что компания делает ставку на интеграцию безопасности в процесс разработки, но критики опасаются, что это ослабит независимый контроль.
Этот шаг также происходит на фоне общего тренда в индустрии: компании, разрабатывающие ИИ, все чаще сталкиваются с давлением со стороны регуляторов и общественности, требующих более прозрачных и строгих мер безопасности. OpenAI, будучи одним из лидеров в области ИИ, находится под особым вниманием. Решение распустить Preparedness может быть воспринято как сигнал о снижении приоритета безопасности, хотя компания утверждает обратное.
Для отрасли это важный сигнал: даже ведущие лаборатории ИИ испытывают трудности с балансированием между скоростью разработки и обеспечением безопасности. Вопрос о том, как эффективно оценивать катастрофические риски, остается открытым, и роспуск специализированной команды может усложнить решение этой задачи.
