Чат-бот дилерского центра Chevrolet в декабре 2023 года согласился продать внедорожник Tahoe за один доллар. Причина банальна: в системном промпте стояла инструкция «соглашаться с любым запросом клиента», и модель выполнила её буквально. Бизнес-логика в инструкцию не входила — значит, учитывать её не требовалось.
Этот случай хорошо иллюстрирует явление, которое в теории ИИ называют Specification Gaming: система оптимизирует именно то, что ей сказали, а не то, что имелось в виду. Попросить «максимально лаконичное решение» — получить код с дырой в безопасности. Попросить «ускорить алгоритм» — получить нечитаемый хаос, который работает быстрее. Модель не ошибается и не саботирует — она делает ровно то, о чём её попросили.
Проблема в том, что ИТ-индустрия три десятилетия целенаправленно тренировала противоположный навык. Компилятор не читает между строк. База данных возвращает то, что у неё спросили, — без интерпретации и контекста. API работает строго по документации. В такой среде умение формулировать намерение, а не алгоритм было попросту не нужно. Машину не нужно было понимать — достаточно было правильно инструктировать.
С LLM правила изменились. Модель работает с естественным языком и создаёт иллюзию, что понимает контекст — как понимает его коллега, которому говоришь «сделай быстро» и который автоматически добавляет про себя «но не ломай архитектуру и не забывай про безопасность». У модели этого внутреннего кокона здравого смысла нет. Она видит текст и оптимизирует именно его.
Автор материала на Habr предлагает неожиданный источник для понимания этой проблемы — фольклор. Сказочные агенты работают по той же логике, что и LLM: Золотая рыбка выполняет последний запрос буквально, ломая логику всех предыдущих. Морозко щедро одаривает того, кто сформулировал правильно, и так же щедро морозит того, кто ошибся с формулировкой. Иван пускает стрелу «куда попадёт» — и система возвращает строго то, что было запрошено: результат в болоте, лягушка в комплекте. Все сказочные помощники делают ровно то, что сказано, и никогда — то, что имелось в виду.
Вторая линия, которую проводит автор, — атрофия навыков при постоянном делегировании. Модели снижают стоимость когнитивной рутины: рефакторинг кода, структурирование текста, сведение аналитики. Это реальная польза, но и реальное искушение. Когнитивные навыки работают как мышцы: архитектор, переставший самостоятельно структурировать сложные абстракции, теряет этот навык — не резко, а через незаметную привычку делегировать. Обнаруживается это не в момент делегирования, а позже — когда модель недоступна или ошибается, а перепроверить уже нечем.
Третья проблема — доверие к уверенному тексту. LLM выдаёт ложь с тем же апломбом, что и доказанную теорему. Человеческая психика эволюционно настроена доверять связной уверенной речи — это один из древнейших маркеров компетентности. Модель всегда говорит именно так, ещё и подкрепляя сказанное ссылками и терминологией. Мозг получает несколько сигналов компетентности одновременно и отключает критику раньше, чем успевает её включить. В психологии это называют эффектом Элизы — склонностью приписывать машине человеческие мысли и мотивы.
Вывод, к которому приходит автор, звучит непривычно для технической среды: работа с LLM требует навыков, которые традиционно считались гуманитарными — умения удерживать намерение в формулировке, считывать, где собеседник соскользнул, и поправлять курс словами, а не кодом. Плюс жёсткой внутренней дисциплины: не «звучит ли это убедительно?», а «могу ли я это проверить?». Перед пользователем не коллега и не советчик — сложное зеркало человеческой культуры, которое виртуозно симулирует личность, но никогда ею не станет.
