Компания Writer, специализирующаяся на ИИ-инструментах для маркетологов, в четверг представила новую флагманскую модель Palmyra X6 и значительно обновила свой агентный harness. По оценкам компании, эти изменения позволят сократить расходы клиентов до 50% на базовых задачах. Модель построена как пост-тренировочная вариация open-source модели GLM-5.2 от Z.ai, что должно обеспечить готовность к развёртыванию при значительно более низкой цене.
Проблема, которую решает Writer, актуальна для всей отрасли: стоимость ИИ-развёртываний растёт, и пользователи ищут способы сократить расходы. Open-source модели предлагают более низкую стоимость за токен, но подбор подходящей модели для конкретной задачи остаётся сложной задачей. Writer делает ставку на оптимизацию harness — инфраструктуры, которая управляет взаимодействием модели с внешними инструментами и выполнением задач. Недавнее исследование Writer показало, что изменения в harness могут быть более надёжным способом снижения затрат, чем выбор модели: в среднем расходы упали на 40%.
«Harness — это компонент, эффективность которого умножается на каждую модель, которую запускает организация, — настоящую и будущую», — отметили исследователи Writer. Генеральный директор Writer Мэй Хабиб подчеркнула, что предприятия устали от гонки за бенчмарками и хотят стабильного снижения затрат. Новый подход делает акцент на сложных многошаговых задачах, которые выполняются быстрее и с меньшим числом токенов.
Обновлённый агентный harness и новая модель снижают затраты клиентов до 50% на базовых задачах.
Для клиентов Writer опыт остаётся модель-агностическим: Palmyra X6 будет работать наряду с другими моделями Writer или внешними моделями, импортированными через Azure или Amazon Bedrock. Хабиб также видит в стремлении к снижению затрат растущее недоверие к крупным ИИ-лабораториям, которые имеют финансовую заинтересованность в увеличении потребления токенов. «Взрыв затрат беспрецедентен для клиентов, и CIO всё больше разочаровываются в лабораториях», — сказала она.
Writer — не единственная компания, ищущая способы снизить стоимость ИИ. Open-source модели, такие как Llama 3.1, также предлагают альтернативу проприетарным системам. Однако подход Writer, сочетающий open-source основу с оптимизацией harness, может стать важным шагом к более экономичным ИИ-решениям для предприятий.
