Стартап TypeSafe ИИ представил модель Jev, которая работает иначе, чем привычные чат-боты. Вместо генерации писем, кода или ответов в чате она выносит узкие суждения и возвращает вероятности внутри других программ. Сооснователь и CEO компании Диогу Алмейда ранее работал в OpenAI и входит в число авторов исследования InstructGPT — той работы, которая легла в основу ChatGPT.
Разработчик сам определяет вопросы и допустимые варианты ответов, а модель только оценивает, насколько каждый вариант подходит. В документации приводится пример: покупатель пишет в интернет-магазин, что с него дважды списали деньги за заказ, и просит вернуть второй платёж. Прежде чем кто-то начнёт разбираться, запрос нужно классифицировать. Это про оплату, доставку или возврат? Клиент хочет вернуть деньги или просто получить объяснение? Магазин подключает Jev и задаёт эти вопросы вместе с вариантами ответов. При каждом новом сообщении программа передаёт текст модели и получает не письмо, а, например, метку «проблема с оплатой» и вероятность того, что клиент хочет возврат. Дальше вступают фиксированные правила: вопросы оплаты уходят в бухгалтерию, запросы на возврат помечаются. Если метка неоднозначна, запрос просматривает сотрудник. Jev даёт оценку, а решение принимает программа по заданным правилам. Это не значит, что деньги уже вернули: факт двойного списания ещё нужно сверить с транзакциями. Отдельный чат-бот может сообщить клиенту подтверждённый статус, но для самой сортировки он не нужен.
| Параметр | Jev | Обычные языковые модели |
|---|---|---|
| Тип вывода | Метки и вероятности | Сгенерированный текст |
| Скорость ответа | 70–500 мс | Значительно медленнее |
| Цена | $0.042 за млн входных токенов, выходные бесплатно | Зависит от модели и провайдера |
| Галлюцинации | Исключены в рамках заданных вариантов | Возможны |
TypeSafe заявляет, что Jev отвечает за 70–500 миллисекунд — в разы быстрее даже самых быстрых современных языковых моделей. Для этого модель пропускает пошаговую генерацию текста и, по словам компании, вычисляет несколько выходных значений параллельно. Добавление новых вопросов в том же вызове почти не увеличивает время ответа. Такая скорость позволяет проверять черновик до того, как его отправит ИИ-ассистент: не противоречит ли он предыдущему разговору, не обещает ли возврат, которого нет в учётной записи клиента. TypeSafe описывает подобные проверки в примерах рабочих процессов. Компания перечисляет и другие возможные применения в продажах и поддержке: выявление намерения купить, сортировка запросов по темам, определение момента, когда в диалог должен включиться человек.
Модель отвечает за 70–500 миллисекунд, что в разы быстрее современных языковых моделей.
Однако обычные языковые модели тоже умеют выдавать заранее заданные категории и структурированные данные. OpenAI предлагает для этого Structured Outputs. Сам по себе структурированный формат ответа не выделяет Jev среди конкурентов. Чтобы выиграть, модель должна справляться с такими задачами не только быстрее или дешевле, но и с достаточно высоким качеством. Опубликованные тесты производительности имеют ограничения. TypeSafe сравнивает четыре сценария, которые построила сама, и использует ответы других ИИ-моделей в качестве эталона, а не независимо проверенные правильные решения. GPT-6 Astra в оценках отсутствует. Зато модель очень дешёвая: TypeSafe указывает цену $0.042 за миллион входных токенов и не берёт плату за выходные данные.
TypeSafe продвигает Jev как модель, которая не может галлюцинировать. Но эта гарантия распространяется только на структуру ответа: модель не выдаст вариант вне заданных. Фактически неверный выбор среди разрешённых вариантов всё равно возможен. Модель предназначена для того, чтобы делать множество мелких суждений в фоне экономичнее. Насколько эти суждения надёжны, компаниям придётся проверять на собственных задачах. Доступ разработчики получают через лист ожидания.
