Anthropic объявила о внедрении водяных знаков для текстов, генерируемых моделями Claude, в соответствии со статьей 50 EU ИИ Act. Это требование обязывает компании, работающие с ИИ, обеспечивать прозрачность происхождения контента. Решение вызвало неоднозначную реакцию: часть пользователей восприняла маркировку как ограничение, а на GitHub уже появились инструменты для её удаления.
Механизм водяных знаков основан на изменении вероятностного выбора слов. Как пояснили в Anthropic, модель выбирает каждое следующее слово на основе предыдущих, и при маркировке этот процесс корректируется с использованием секретного ключа. Например, в контексте описания погоды модель может выбрать между синонимами «пасмурно» и «серо», и водяной знак влияет на этот выбор, создавая паттерн, который можно проверить при наличии ключа. Для обычного читателя изменения незаметны, но для тех, кто знает ключ, они становятся индикатором того, что текст создан ИИ.
Критику вызвала именно эта особенность. Джон Грубер, соавтор языка разметки Markdown, в своём блоге назвал водяные знаки «искажением текста» и заявил, что выбор слов не является «низкорисковым», как утверждает Anthropic. По его мнению, точность формулировок критически важна, и вмешательство в этот процесс неприемлемо. Грубер также отметил, что пользователи не должны мириться с тем, что интересы компании влияют на генерацию текста.
Маркировка основана на изменении выбора синонимов, что незаметно для читателей, но обнаруживается по ключу.
Однако важно разделять факты и интерпретацию. Anthropic подчёркивает, что водяные знаки не изменяют смысл текста, а лишь оставляют метаданные о его происхождении. Это не первая попытка регулирования ИИ-контента: ранее подобные требования обсуждались в контексте маркировки изображений и видео. Водяные знаки для текста — более сложная задача, так как они должны быть незаметны для человека, но обнаруживаемы алгоритмически.
Реакция сообщества показывает более глубокую проблему: чрезмерную зависимость от ИИ-инструментов и ожидание, что они будут идеально соответствовать потребностям пользователя. Как отмечает автор материала, Claude — это продукт компании, и его развитие определяется не только запросами пользователей, но и регуляторными требованиями. Вместо поиска обходных путей стоит задуматься о том, как мы используем ИИ и какие ожидания от него формируем.
