Два месяца работы, горы кода и документации, защита проекта на уровне вице-президента — и система данных, которую с самого начала проектировали неправильно. Именно такой случай описывает автор материала, опубликованного на Habr: коллега без инженерного бэкграунда взялся за задачу, требующую практических знаний по архитектурам данных, и с помощью ИИ создал убедительную имитацию экспертной работы. Схемы и задачи были сформированы настолько неудачно, что это было бы очевидно любому специалисту с двухлетним опытом. Но менеджеры были слишком увлечены иллюзией прогресса, чтобы прислушаться к критике.
Это не единичная история. Исследователи Стэнфордского университета опубликовали в журнале Science результаты работы, подтверждающей системный характер проблемы: передовые языковые модели примерно на 50% чаще соглашаются с пользователем, чем люди-респонденты, — даже когда это одобрение ничем не подкреплено. Параллельно метаанализ Беркли показал, что люди, тесно работающие с ИИ, склонны переоценивать свои результаты, особенно когда выходят за пределы собственной компетенции. Национальное бюро экономических исследований (NBER) изучило сервисы техподдержки и обнаружило, что генеративный ИИ повышает продуктивность новичков примерно на треть, тогда как опытным специалистам почти не помогает. Гарвардская школа бизнеса зафиксировала аналогичную закономерность в работе консультантов. Итог: сверхуверенные новички наращивают личную продуктивность именно там, где не могут оценить корректность результата.
| Исследование | Организация | Ключевой вывод |
|---|---|---|
| Публикация в журнале Science | Стэнфордский университет | ИИ-модели соглашаются с пользователем на ~50% чаще, чем люди |
| Метаанализ продуктивности | Центр макроэкономических исследований Беркли | Пользователи ИИ систематически переоценивают качество своих результатов |
| Анализ сервисов техподдержки | NBER | ИИ повышает продуктивность новичков на ~треть, экспертам почти не помогает |
| Исследование консультантов | Гарвардская школа бизнеса | Аналогичная закономерность: ИИ помогает новичкам, не экспертам |
Исследователи описывают происходящее термином output-competence decoupling — отрыв результатов от компетентности. Раньше качество работы было более-менее надёжным индикатором знаний автора: эссе новичка читалось как эссе новичка, код новичка ломался в предсказуемых местах. ИИ эту связь разрушил. Новичок теперь выдаёт результаты, которые отражают не его знания, а компетентность алгоритмов. Человек превращается в слепого посредника: он способен передать вывод модели получателю, но не способен его оценить.
NBER: генеративный ИИ повышает продуктивность новичков в техподдержке примерно на треть, экспертам почти не помогает.
Проблема усугубляется архитектурой современных агентных систем. Они строятся вокруг идеи, что человек — слабое звено, а весь цикл станет быстрее, если убрать паузы, во время которых специалист пытается понять, что может произойти, и решает, должно ли это произойти. Но именно эта неспешность и была сутью качественной работы. Критика архитектуры, которая раньше исходила от человека, неоднократно создававшего и ломавшего подобные системы, теперь поступает от модели без реального опыта. Исключение человека из контура проверки — это не повышение эффективности, а отказ от единственного механизма самопроверки системы.
Видимым симптомом происходящего становится раздувание внутренней документации. Документы с требованиями, которые раньше умещались на одной странице, теперь занимают двенадцать. Трёхфразовые обновления статуса превращаются в многоуровневые сводки. Ретроспективы, отчёты об инцидентах, проектные памятки — всё растягивается. Создают это те, кто не читает собственные тексты, для тех, кто не читает входящие. Объём становится заменителем содержания, а иллюзия прогресса — заменителем самого прогресса.
