Технический писатель из российской IT-команды опубликовал на Хабре результаты самостоятельного стилометрического эксперимента — после того как редакция одного из порталов отклонила его статью как «написанную с высокой долей вероятности с помощью ИИ». Автор собрал три корпуса по пять текстов: свои старые рекламные и сценарные материалы (до массового распространения ChatGPT), свои новые технические и продуктовые тексты, а также статьи, полностью сгенерированные GPT на похожие темы.
Для сравнения он использовал шесть стилистических признаков: среднюю длину предложения, «бурстность» (неровность ритма), долю вводных конструкций на 1000 слов, плотность технических терминов, частоту запятых и средних тире. Из этих признаков формировался вектор, а расстояние между корпусами считалось через косинусное сходство. Результат оказался неожиданным: косинусное расстояние между новыми текстами автора и ИИ-генерациями составило 0,03 — фактически вплотную. Расстояние между старыми и новыми текстами того же человека — 0,20, между старыми текстами и ИИ — 0,22.
| Метрика | Старые тексты | Новые тексты | ИИ |
|---|---|---|---|
| Средняя длина предложения, слов | 11,4 | 13,6 | 11,3 |
| Бурстность (неровность ритма) | 0,60 | 0,55 | 0,57 |
| Вводные конструкции на 1000 слов | 3,3 | 1,9 | 15,2 |
| Технические термины на 1000 слов | 3,96 | 4,48 | 5,8 |
| Запятые на 1000 слов | 75,8 | 69,8 | 99,8 |
| Средние тире на 1000 слов | 21,6 | 29,7 | 12,1 |
По отдельным метрикам различия есть: ИИ значительно чаще использует вводные конструкции (15,2 на 1000 слов против 1,9 у новых текстов автора), у ИИ выше плотность запятых (99,8 против 69,8), а автор заметно чаще ставит среднее тире (29,7 против 12,1). Но когда все признаки сводятся в один вектор, жанровое сходство перекрывает индивидуальные различия.
Старые рекламные тексты того же автора отстоят от ИИ на 0,22 — в семь раз дальше, чем технические.
Автор объясняет это устройством самого жанра. Хорошая техническая документация по определению стремится к ясности, структуре, единообразной терминологии и отсутствию авторского самовыражения — именно к тому, что языковые модели научились воспроизводить. Техписатель годами вырабатывает стиль, который «почти не виден», а потом оказывается, что этот невидимый стиль и есть то, что имитирует ИИ.
Проблема не нова и не ограничивается одним автором. В 2023 году несколько университетов обвиняли студентов в использовании ИИ на основании результатов детекторов GPTZero и Turnitin — часть обвинений впоследствии рассыпалась. OpenAI в том же году закрыла собственный ИИ-классификатор: он давал ложноположительные срабатывания в 9% случаев, то есть каждый одиннадцатый честный текст помечался как машинный. Для технической документации этот процент, по логике автора, должен быть ещё выше — жанр просто устроен так.
Автор формулирует ключевое различие через условные вероятности: вероятность того, что текст похож на ИИ-генерацию, не равна вероятности того, что текст написал ИИ. Первое — впечатление от поверхности, второе — факт о происхождении. Детекторы и читатели, как правило, оценивают первое и делают вывод о втором. Из этого следует парадоксальная мотивация: чтобы текст не приняли за машинный, нужно намеренно оставить в нём неровности — примерно как оставлять кривые места в коде, чтобы ревьюер убедился в человеческом авторстве. Автор считает такой подход деградацией профессионального стандарта.