Есть простой тест для любого произведения об искусственном интеллекте: если главного антагониста можно заменить обычным человеком — колдуном, маньяком, обиженным злодеем — и сюжет не изменится, то произведение не об ИИ. По этому критерию большинство известных историй о разумных машинах проваливается.
Рассказ Харлана Эллисона «У меня нет рта, но я должен кричать» (1967) — хрестоматийный пример. Боевой компьютер AM мучает пятерых выживших, потому что ненавидит человечество за то, что его создали. Мотивация — обида и ненависть — человеческая до мозга костей. Сам троп «маньяк пытает жертв в своём логове» восходит к Маркизу де Саду и «120 дням Содома» конца XVIII века. Эллисон был блестящим провокативным литератором, но в компьютерах не разбирался: он просто взял модный образ разумной машины и вложил в неё человеческую психологию.
Джеймс Кэмерон подошёл к задаче иначе. Он вырос в семье инженера-электронщика, поступил в колледж на физику и, хотя впоследствии сменил специализацию и бросил учёбу, сохранил технический способ мышления. Когда в 1981 году во время монтажа «Пираний 2» он увидел в горячечном бреду образ робота с красными глазами, встающего из пламени, — у него уже был концептуальный каркас для того, чтобы изобразить машину как машину, а не как человека из металла.
Кэмерон учился на физика, его отец — инженер-электронщик; этот бэкграунд объясняет, почему T-800 показан как целеустремлённый агент, а не очеловеченный злодей.
T-800 в первом «Терминаторе» — не злодей с мотивацией, а целеустремлённый агент. Кайл Риз объясняет это прямо: «С ним невозможно договориться. Его невозможно переубедить. Он не испытывает ни жалости, ни раскаяния, ни страха». Терминатор не хочет убить Сару Коннор из ненависти — он выполняет задачу. Разница принципиальная: первое — психология, второе — архитектура.
Вторая часть развивает эту идею через взаимодействие T-800 и Джона Коннора. Сцена с охранником в психиатрической больнице — почти учебный пример того, как современные системы оптимизируют установленную метрику, а не то, что имелось в виду. Джон запрещает убивать людей. T-800 выполняет директиву буквально: стреляет охраннику в ноги и спокойно отвечает на возмущение «я никого не убиваю». Никакого злого умысла — только точное следование инструкции в её формальном прочтении. Именно так работают современные языковые модели и системы с подкреплением: они оптимизируют то, что измеряется, а не то, что подразумевалось.
Финал второй части закрепляет главную мысль. Перед самоуничтожением в расплавленном металле T-800 видит плачущего Коннора и произносит: «Теперь я понял, почему вы плачете, но сам так никогда не смогу». Машина достигла понимания — но не стала человеком. Это и есть та граница, которую большинство произведений об ИИ стирают, превращая разумные системы в «кремниевых людей» с обидами, страхами и экзистенциальными кризисами.
Среди современных примеров достоверного изображения ИИ автор эссе выделяет мангу Blame! и её экранизацию от Netflix. Персонаж Килли — предположительно робот — не взаимодействует с людьми ради общения, не испытывает одиночества и не рефлексирует о своей природе. Он абсолютно сосредоточен на единственной цели: найти носителя сетевого гена. Всё остальное для него не существует. Это редкость на фоне Detroit: Become Human и десятков других историй, где андроиды страдают, влюбляются и борются за права — то есть ведут себя как люди, которым просто не повезло с телом.
Проблема не в качестве этих произведений как таковых — многие из них сделаны мастерски. Проблема в том, что они описывают не ИИ, а человеческие страхи и желания, спроецированные на машину. Это честная художественная литература, но плохой прогностический инструмент для понимания того, с чем мы реально имеем дело.
