Три месяца назад на Хабре обновили правила и добавили четвёртый пункт: запрет на размещение текстов, написанных или отредактированных с помощью нейросетей. Автор разбора, опубликованного на самом Хабре, проверил, как это правило работает на практике. Для проверки он использовал детектор GPTZero, отдельно протестировал ZeroGPT, Yandex Neurodetector и GigaCheck.
Результат оказался не в пользу модерации. Автор отсортировал посты по лучшим за неделю и проверил пять материалов AvitoTech длиннее 100 слов. GPTZero показал 100%, 48%, 98%, 99% и 98% ИИ-текста. Все посты вышли уже после введения запрета. Для сравнения: три свежие статьи той же компании дали 70%, 0% и 6%. Автор с 70% оказался новичком — это была его первая статья, и ни компания, ни модераторы её не проверили. У RUVDS три поста из лучших за месяц показали 0% ИИ. У Timeweb Cloud три поста дали 99%, 92% и 98%.
| Источник | Проверено постов | Результат GPTZero |
|---|---|---|
| AvitoTech (топ за неделю) | 5 | 100%, 48%, 98%, 99%, 98% |
| AvitoTech (свежие статьи) | 3 | 70%, 0%, 6% |
| RUVDS (топ за месяц) | 3 | 0% |
| Timeweb Cloud | 3 | 99%, 92%, 98% |
Самая показательная история — статья «PostgreSQL умер, да здравствует… PostgreSQL?», которая висела на первой позиции в разделе «Читают сейчас» с рейтингом 80+. С первых абзацев автор понял, что это нейрослоп, и в комментариях пользователи написали то же самое. Модератор Хабра ответил, что проверка проводилась через Yandex Neurodetector и GigaCheck. Автор отправил тот же текст в оба сервиса — они показали, что статья написана человеком. GPTZero дал 100% ИИ. Похожая ситуация со статьёй «EvertyDesk: я отдаю то, на что ушли годы»: больше 50 плюсов, жалоба отправлена месяц назад, реакции модераторов нет. GigaCheck в этом случае всё же распознал ИИ.
Отдельная линия — аккаунты, которые публикуют нейрослоп потоком. Один пользователь за 20 дней выложил 12 статей, каждая на 100% сгенерирована. Заголовки вроде «Робот написал одному человеку пять раз. Виноват оказался знак доллара» или «Локальный путь в image_input съел четыре слота подряд» выдают машинное происхождение. Инвайт на Хабр он получил через песочницу: модераторы проверили первую статью и одобрили её, хотя она была полностью написана нейросетью. Под его постами люди оставляют комментарии, а отвечает им ИИ — и читатели снова получают нейрослоп, уже в ветке обсуждения.
Почему так происходит. Детекторы ИИ-текста работают на статистических признаках: распределение слов, длина предложений, характерные обороты. Они ошибаются в обе стороны — пропускают сгенерированный текст и помечают человеческий. Бесплатные GigaCheck и Yandex Neurodetector, по наблюдениям автора, почти всегда выдают полностью сгенерированные статьи за написанные человеком. Платные сервисы вроде GPTZero точнее, но модерация Хабра их не использует — вероятно, из-за бюджета. Автор оценивает: если проверять каждую статью, пост и комментарий через платный детектор, это будут сотни долларов в месяц.
Что можно сделать. Автор предлагает добавить возле заголовка каждой статьи иконку с процентом ИИ-текста и дать пользователям фильтровать ленту. Модераторы, по его словам, не хотят удалять статьи, которые «некоторые люди» считают нейрослопом, потому что мнение этих людей может быть ошибочным. Пока правило есть, а механизма принуждения к нему нет, корпоративные блоги и отдельные авторы продолжают публиковать сгенерированный контент в общую ленту.
Проблема не уникальна для Хабра. Платформы по всему миру сталкиваются с тем же: правило против ИИ-контента легко написать, но трудно исполнить без надёжного детектора, а надёжного детектора, который не ошибается на человеческих текстах, пока не существует. Хабр оказался удобной площадкой для наблюдения: здесь есть рейтинги, комментарии и активное сообщество, которое замечает нейрослоп раньше модерации.
