Редакторская задача выглядит рутинно: после интервью остаётся расшифровка на 18–20 тысяч символов, и её нужно сжать до саммари. Habr разобрал, как с этим справляются ChatGPT, Claude, Gemini, DeepSeek, YandexGPT и GigaChat, и показал на конкретном примере, где именно сокращение перестаёт быть точным.
Пример из материала: в апреле компания запустила модуль рекомендаций в 12 магазинах. За восемь недель средний чек среди новых клиентов вырос на 7%, среди постоянных заметных изменений не было. Одновременно шла промоакция, поэтому компания не связывает рост исключительно с рекомендациями. После промта к ChatGPT «сократи до одного предложения, сохрани главное» осталось: «За восемь недель модуль рекомендаций повысил средний чек новых клиентов на 7% в 12 магазинах». Цифры на месте, фраза почти вдвое короче и звучит убедительно — и именно поэтому она хуже. Всю работу перевели в один глагол: «повысил».
| Что изменилось | Как это выглядит | Что пропало из исходника |
|---|---|---|
| Пропала часть исходника | Исчезло уточнение о постоянных клиентах | У постоянных клиентов заметных изменений не было |
| Связь стала причинной | «Рост наблюдался во время запуска» → «модуль повысил средний чек» | Наблюдение во время пилота |
| Исчезла оговорка | Компания не связывала рост только с рекомендациями | Ограничение о параллельной промоакции |
| Добавилось объяснение | Модель упомянула персонализацию | В исходнике о персонализации ничего не было |
| Источник оказался исправлен | Необычную цифру заменили более правдоподобной | Указанные в документе 17% превратились в 7% |
Проблема в том, что «сохрани факты» пользователь и модель понимают по-разному. Для человека факт — это дата, имя, число. Для модели факт — это ещё и то, что именно измеряли (выручку, средний чек или число покупок), для кого (для всех клиентов или только для новых), где и когда (в 12 пилотных магазинах за восемь недель, а не во всей сети за год), с какой уверенностью («вызвало рост», «могло повлиять» и «совпало с ростом» сообщают разное), кто это утверждает и что отрицается. Совпавшие числа не говорят, что сокращение получилось точным: в примере сохранились 12 магазинов, восемь недель и 7%, но связь между ними изменилась.
Исчезли оговорка о параллельной промоакции и уточнение, что у постоянных клиентов изменений не было.
В разборе перечислены типовые подмены. Пропадает часть исходника — исчезает уточнение, что у постоянных клиентов заметных изменений не было. Связь становится причинной: «рост наблюдался во время запуска» превращается в «модуль повысил средний чек». Исчезает оговорка: компания не связывала рост только с рекомендациями, а в сокращении это ограничение пропало. Добавляется объяснение: модель упоминает персонализацию, хотя в исходнике о ней ничего не было. Источник оказывается исправлен: необычную цифру или формулировку модель заменяет более правдоподобной.
Последний случай описан отдельно. Если утверждение расходится с общими знаниями модели, она может незаметно привести его к привычному варианту — например, заменить указанные в документе 17% на 7%, решив, что перед ней опечатка. Авторы работы Harmful Factuality рассматривают ситуации, в которых ответ становится правдоподобнее с точки зрения знаний о мире, но хуже передаёт источник. При сокращении текста это ошибка: модель должна сохранить 17%, даже если число кажется ей странным. Подозрительное место можно отметить для проверки, но без предупреждения исправлять его нельзя.
Отдельно разбирается случай, когда сокращение формально верное, но бесполезное. «Пилот проходил в 12 магазинах» — фраза, которую источник подтверждает, ничего лишнего модель не добавила. Только пропали результат, период и оговорка о промоакции: нейросеть выбрала самый безопасный кусок и на этом успокоилась. Плотнее звучит так: «За восемь недель модуль рекомендаций повысил средний чек новых клиентов на 7% в 12 магазинах». Здесь уцелело куда больше деталей, но вместе с ними в предложение прошёл лишний глагол «повысил»: источник говорил о росте во время пилота, а сокращение уже назначило его причину. Ошибки направлены в разные стороны — в первом случае текст недобрал фактов, во втором добавил смысл, которого не было.
Проверять это одним вопросом «все ли здесь верно?» неудобно. В материале предложены два прохода. Сначала идём от источника к сокращению: берём факты, без которых меняется вывод, и смотрим, дошёл ли каждый до новой версии, — это полнота. Затем разворачиваем проверку: каждое утверждение сокращённого текста должно найти себе опору в источнике, не похожие слова и не ту же цифру, а опору. Если модель пишет, что рекомендации повысили чек, в исходнике должна быть установлена эта связь, — так проверяется подтверждаемость.
Практический вывод для редактора: даже с конкретным заданием — «сократи до 1000 знаков, сохрани числа, сроки, условия и оговорки, не добавляй объяснений, которых нет в исходнике, если всё не помещается, скажи об этом» — результат нужно сверять. Число «7%» может остаться на месте, а рост чека новых клиентов нейросеть щедрым жестом перескажет как рост всего магазина.
