Компании, использующие фундаментальные модели, часто сталкиваются с проблемой: встроенные механизмы модерации блокируют легитимные запросы. Студия, обрабатывающая сценарии с ненормативной лексикой, или команда кибербезопасности, моделирующая фишинговые атаки, получают отказ, даже если цель — обучение сотрудников. Традиционный prompt engineering не помогает: запрет «вшит» в параметры модели на этапе выравнивания (alignment).
Решение Amazon — Customizable Content Moderation Settings (CCMS) для серии моделей Amazon Nova. Система позволяет одобренным заказчикам выборочно ослаблять ограничения по четырём направлениям: Safety (опасная деятельность, оружие), Sensitive content (нецензурная лексика, нагота, буллинг), Fairness (предвзятость) и Security (вредоносный код). При этом неотключаемые защитные механизмы — защита детей и приватность — остаются неизменными.
| Метод | Цель | Особенность |
|---|---|---|
| DPO | Обучить модель предпочитать один ответ другому | Использует пары предпочтений |
| NPO | Заставить модель забыть определённое поведение | Удаляет положительные примеры, может ухудшить качество |
| rDPO | Забыть нежелательное поведение и научиться давать качественные ответы | Обратные пары, высокая эффективность |
Технической основой CCMS стал метод Reverse Direct Preference Optimization (rDPO), разработанный командой Amazon. rDPO относится к семейству unlearning — техник, которые удаляют из параметров модели определённые выученные паттерны без полного переобучения. В отличие от существующего подхода Negative Preference Optimization (NPO), который просто отводит модель от нежелательного поведения, rDPO одновременно направляет её к качественному альтернативному ответу. Это позволяет быстрее достигать сходимости и не ухудшать общее качество модели.
Метод rDPO обращает пары предпочтений в алгоритме DPO, чтобы не только забыть нежелательное поведение, но и направить модель к качественным ответам.
На практике CCMS работает так: Amazon подготавливает LoRA-адаптер, обученный «забывать» конкретные политики модерации. Заказчик импортирует адаптер и получает уникальный ARN-идентификатор. Во время инференса адаптер перенаправляет базовую модель, а выходные guardrails тоже настраиваются под одобренные политики. Таким образом, модель продолжает корректно вести себя во всех остальных областях, но перестаёт блокировать контент в разрешённых зонах.
Разработка rDPO делает технологию доступной не только для Amazon Nova. Компания указывает, что клиенты могут применять принципы preference optimization в собственных экспериментах, используя открытые библиотеки. Это открывает путь к точечной настройке моделей под узкие бизнес-задачи без риска «сломать» общую функциональность.
