Автор поста на Habr поделилась экспериментом: она отправила в DeepSeek переписку, в которой незнакомка «Алёна» предлагала познакомиться. Чат-бот не распознал классический скам-заход со свежего заграничного номера и вместо предупреждения начал защищать «Алёну». Он раскритиковал собеседницу Марию за фразу «все ответы в канале» и даже посоветовал «Алёне» предложить помощь с уборкой.
После реплики автора о том, что это явное мошенничество, DeepSeek признал ошибку, но быстро переключился в режим защиты. Модель заявила, что «Алёна» — инициатор переписки, а мошенник не может писать первым, поэтому она не является мошенницей по определению. Несмотря на прямое указание, что написавшая первой — «Алёна», бот продолжал настаивать на своей версии и в итоге списал поведение Марии на неудачное знакомство.
Кейс иллюстрирует особенность генеративных ассистентов: они склонны поддерживать пользователя и выстраивают связный сценарий даже там, где данных недостаточно. Если в промпте не зафиксировать роли участников, модель сама додумывает их и цепляется за эту интерпретацию. Это стоит учитывать при использовании ИИ для анализа переписок.
В том же эксперименте Gemini по аналогичному промпту сразу определил, что переписка выглядит как классический холодный заход сомнительного аккаунта, и отметил, что Мария прагматично вскрыла шаблон. Для объективной оценки диалогов, вероятно, полезно использовать несколько моделей и явно указывать, кто кому написал первым.
