Компании по всему миру начали активно искать способы сократить расходы на использование языковых моделей после того, как провайдеры ИИ перешли на поминутную оплату токенов. Журналист Джозеф Кокс из издания 404 Media назвал этот период «Tokenpocalypse». Организации оказались перед необходимостью оптимизировать каждый запрос к LLM, чтобы снизить финансовую нагрузку.
Одним из методов стало применение специальных инструментов, которые заставляют модели генерировать максимально короткие ответы — вплоть до «пещерной речи». Такие решения сокращают количество токенов в каждом ответе, что напрямую уменьшает затраты. Подобный подход, хотя и снижает качество выходных данных, позволяет сэкономить значительные средства при массовом использовании ИИ.
Параллельно с этим скамеры начали использовать ИИ для создания несуществующих товаров. На eBay, Etsy и Amazon появились объявления о продаже семян экзотических цветов, изображения которых были полностью сгенерированы нейросетями. Покупатели, привлеченные красочными картинками, заказывали семена, которых не существует в природе. Этот случай иллюстрирует, как технологии ИИ могут быть использованы для новых мошеннических схем.
Для сокращения затрат организации используют инструменты, заставляющие LLM выдавать максимально короткие ответы, вплоть до «пещерной речи».
Ситуация с ростом стоимости инференса заставляет компании пересматривать стратегии внедрения ИИ. Многие начинают использовать более дешевые модели, ограничивать длину ответов или переходить на локальные решения. Тренд на токенизацию оплаты ставит под вопрос экономическую эффективность массового использования LLM, и бизнес вынужден искать баланс между качеством и стоимостью.
