Неделю назад Nvidia инициировала создание Open Secure ИИ Alliance (OSAA) — отраслевого объединения для защиты открытых ИИ-систем. Сейчас в него входят более 120 компаний, а на конференции Black Hat в Лас-Вегасе альянс представил первую рабочую группу Shared ИИ Findings Exchange (SAFE). Управление предложениями взяла на себя Linux Foundation, тоже участник OSAA.

Предложения SAFE пока выглядят как базовые процедуры: как конфиденциально сообщать об инцидентах безопасности ИИ, оповещать пострадавших и проводить разбор инцидента без поиска виновных, чтобы из ошибок могли учиться все. Параллельно участники каталогизируют свои открытые технологии, которые могут пригодиться для защиты ИИ-агентов или отражения атак. Например, Nvidia предлагает открытые модели и сканер уязвимостей LLM Garak, Okta работает над идентификацией агентов, Red Hat — над их управлением, Amazon отдала в проект инструмент Strands Agents и язык авторизации Cedar.

КомпанияВклад в OSAA
NvidiaСемейство открытых моделей и сканер уязвимостей LLM Garak
OktaТехнологии идентификации агентов
Red HatИнструменты управления агентами
AmazonИнструмент Strands Agents и язык авторизации Cedar

OSAA собрала крупных игроков: Adobe, BlackRock, Cisco, Intel, Microsoft, Visa. Заметные отсутствующие — Anthropic, OpenAI и Google, при том что OpenAI и Google подписали опубликованное неделей ранее открытое письмо с призывом к Белому дому не ограничивать открытый ИИ. Письмо, инициированное Nvidia, подписали более 200 технологических компаний. Anthropic к письму и альянсу пока холодна. Google традиционно поддерживает открытый исходный код и выпускает модели с открытыми весами, так что вопрос о его вступлении остаётся открытым.

Группа SAFE займётся конфиденциальными отчётами об инцидентах и разбором без поиска виновных.

Image Credits:Bridget Bennett/Bloomberg via Getty Images / Getty Images
Image Credits:Bridget Bennett/Bloomberg via Getty Images / Getty Images · Источник: TechCrunch AI

Альянс возник на фоне сообщений о том, что администрация Трампа рассматривает запрет китайских open-weight моделей. Это вызвало беспокойство индустрии и привело к письму. Быстрое формирование OSAA — сигнал, что крупные компании готовы сами вырабатывать стандарты безопасности открытого ИИ. Как сформулировали в альянсе, «открытость может быть одним из самых важных путей к безопасности и защищённости ИИ». Насколько эти стандарты станут реальным инструментом, покажут первые проекты документов и их внедрение.