Исследователи Сидни Сирс и Дина Скольник Вайсберг опубликовали в журнале Judgment and Decision Making результаты экспериментов, в которых 1 682 участника оценивали короткие рассказы. Три текста были взяты из известных литературных журналов и сборников, ещё три — сгенерированы ChatGPT 4.0 с промптами, основанными на темах, стилях и повествовательных перспективах человеческих оригиналов. Каждый рассказ содержал около 1 000 слов.
Участников разделили на группы: половине сказали, что текст написан человеком, другой половине — что ChatGPT. Информация соответствовала сти только для половины участников в каждой группе. Результаты показали: рассказы ИИ получили значительно более высокие оценки по качеству и вовлечённости. Средний балл качества для ИИ-текстов составил 1,54 против 0,97 у человеческих (шкала от -3 до +3). По вовлечённости разрыв был меньше: 1,42 против 1,00.
Однако отношение участников к ИИ сильно влияло на оценки. Независимо от реального автора, когда участникам говорили, что текст написан человеком, оценки были выше. Участники с позитивным отношением к ИИ в целом ставили более высокие баллы, а если им сообщали, что рассказ создан ChatGPT, оценки росли ещё сильнее. У скептиков эффект был обратным.
Средняя оценка качества ИИ-рассказов составила 1,54 против 0,97 у человеческих (шкала от -3 до +3).
Во втором эксперименте с 905 участниками задача усложнилась: каждый читал и человеческий, и ИИ-рассказ, а затем должен был определить, какой из них создан машиной. Даже при прямом сравнении участники не показали результатов выше случайности. При этом опыт работы с ИИ-системами коррелировал с умением правильно определять авторство, а читательский опыт — нет.
Авторы предполагают, что более высокие оценки ИИ-текстов объясняются не их литературным превосходством, а особенностями восприятия. ИИ-тексты обычно более гладкие, лёгкие для чтения и эмоционально позитивные. Люди склонны предпочитать материал, который проще обработать. Качественная литература, напротив, часто намеренно сложна и требует усилий от читателя. Формат короткого рассказа также играет на руку ИИ: удержать связное повествование в 1 000 слов проще, чем на сотнях страниц.
Вывод исследователей однозначен: ИИ может создавать творческие работы, которые люди воспринимают как минимум не хуже человеческих, но при этом не верят в такую способность машин. Данные и материалы исследования доступны на Open Science Framework.
Ранее, в октябре, исследование Университета Стоуни-Брук и Колумбийской школы права показало, что экспертиза читателей помогает лишь до определённого предела. При простых промптах профессиональные читатели явно предпочитали человеческие тексты. Но когда модели обучали на стилях конкретных авторов, эксперты в восемь раз чаще выбирали ИИ-тексты за имитацию стиля и в два раза чаще за качество письма.
