Baseten 15 октября представила исследовательское подразделение Base Labs и объявила о партнёрстве с Hugging Face и Goodfire ИИ. Совместная работа направлена на создание стандарта безопасности для открытых моделей — инфраструктуры оценки и мониторинга, которая встраивается в процесс обучения и развёртывания, а не добавляется после. О технической стороне партнёрства компании не сообщили.
Поводом для инициативы стала abliteration — техника, позволяющая удалять из открытых моделей защитные ограничения, заложенные разработчиками. После такой модификации модель может генерировать опасный контент, который исходная версия блокировала. Масштаб проблемы значителен: на Hugging Face, крупнейшем хостинге открытых моделей, уже более 6000 abliterated-моделей. Это не единичные случаи, а заметный сегмент экосистемы.
| Компания | Роль в партнёрстве | Финансирование |
|---|---|---|
| Baseten / Base Labs | Провайдер инференса, исследовательская группа | $1,5 млрд Series F в июне, оценка $13 млрд |
| Hugging Face | Хостинг открытых моделей | Не раскрыто |
| Goodfire AI | Интерпретируемость моделей | $150 млн Series B под руководством B Capital |
Base Labs будет разрабатывать и публиковать методы обучения и мониторинга открытых моделей. Компания называет свою работу «стандартом» — прозрачным и встроенным в жизненный цикл модели. В Baseten считают открытость преимуществом для безопасности ИИ: она даёт больше видимости в поведение моделей и больше возможностей превращать исследования безопасности в действенные и прозрачные механизмы контроля, чем закрытые решения. Goodfire, специализирующаяся на интерпретируемости ИИ — объяснении того, как модели принимают решения, — в ответе на пост Baseten сформулировала цель так: «Безопасность должна быть встроена в открытые модели и обеспечиваться теми, кто их обслуживает». Именно Goodfire выглядит наиболее вероятным исполнителем части «встроена».
Baseten — провайдер инференса ИИ. В июне компания привлекла $1,5 млрд в раунде Series F, её оценка достигла $13 млрд. Партнёр Goodfire ИИ также хорошо капитализирована: в этом году она получила $150 млн Series B под руководством B Capital для развития платформы интерпретируемости моделей. Обе компании располагают ресурсами для долгосрочной работы над стандартом.
Baseten открыла приём заявок от разработчиков, желающих участвовать в создании фреймворка. «Вместе мы строим экосистему открытых моделей, безопасных и доступных всем», — отметила компания. Пока неясно, как именно будет устроен стандарт, кто будет его поддерживать и как он будет соотноситься с существующими подходами к безопасности открытых моделей. Остаётся открытым и вопрос, насколько добровольный стандарт способен ограничить распространение abliterated-моделей, которые уже доступны на Hugging Face.
