Языковые модели устроены иначе, чем принято думать. В их основе лежит не база знаний и не поисковый индекс, а механизм предсказания следующего слова: каждый токен в ответе выбирается как наиболее вероятный на основе огромного массива текстов, на которых модель обучалась. Это означает, что связный и грамматически правильный ответ модель способна сгенерировать даже тогда, когда нужных данных у неё нет — она просто достроит текст до правдоподобного вида.
Отсюда вырастает главная проблема, которую в отрасли называют галлюцинациями. Модель может сослаться на научную статью, которой не существует, привести цитату, которую никто не произносил, или описать характеристики видеокарты, которую никто не выпускал. Проверить такую ссылку несложно — она просто никуда не ведёт. Сложнее с фактами, которые выглядят достаточно правдоподобно, чтобы не вызвать подозрений: перепутанные даты, слегка искажённые цифры, смешанные характеристики двух разных продуктов.
Второй источник ошибок — дата отсечения обучающих данных. У каждой модели есть момент, после которого новые данные в неё не поступали. Всё, что произошло позже, для модели попросту не существует. Если спросить её о новом смартфоне или свежей видеокарте в формате «расскажи про X», а не «существует ли X», модель воспримет уверенную формулировку вопроса как сигнал, что продукт существует, и начнёт его описывать — смешивая реальные характеристики предыдущих поколений со слухами и домыслами. Именно устаревшие данные на практике подводят чаще, чем классические галлюцинации, потому что ответ выглядит почти верным.
Отдельная зона риска — арифметика. Языковые модели не вычисляют числа в математическом смысле: они предсказывают, какая цифра должна стоять следующей. Для простых примеров это работает, для сложных расчётов — нет. Числа в ответах стоит перепроверять вручную, особенно если они используются в финансовых или технических решениях.
Практика работы с моделями сводится к нескольким привычкам. Любой важный факт — цитату, характеристику, цену — нужно сверять с первоисточником или хотя бы просить модель дать ссылку и проверять, существует ли она. Уверенный тон ответа не несёт никакой информации о его достоверности: модель звучит одинаково убедительно и когда права, и когда ошибается. Полезный приём — задать вопрос из области, в которой вы сами хорошо разбираетесь, и посмотреть, как модель держится на знакомой территории. Это даёт ориентир для оценки её надёжности в незнакомых темах.
Всё это не означает, что от языковых моделей нет пользы. Они экономят время на черновиках, поиске идей и рутинных задачах. Но отношение к ним должно быть как к исполнительному помощнику, за которым нужно проверять результат, а не как к справочнику, которому можно верить на слово. Ключевое отличие от человека в том, что модель никогда не скажет «я не уверен» — и понять, знает ли она что-то на самом деле, предстоит самому пользователю.
