Платформа Artificial Analysis представила шесть новых отраслевых индексов производительности — Capability Indices — для оценки ИИ-моделей в финансах, юриспруденции, медицине, стратегическом управлении, инженерии и экономике. Методология построена на основе классификации O*NET Министерства труда США: для каждой сферы отобраны типовые задачи, такие как финансовое моделирование или анализ контрактов, и взвешены по частоте встречаемости в профессии. Все тесты проводятся независимо, без участия разработчиков моделей.
Anthropic Claude Fable 5 (с резервным механизмом Opus 4.8) занял первое место по всем шести индексам. Второе место — у Claude Opus 4.8 (max) в шести категориях из восьми (с учётом уже существующих агентского и кодового индексов), а в оставшихся двух — у OpenAI GPT-5.5 (xhigh). Ожидаемый выход GPT-5.6, по мнению аналитиков, может сократить отставание. Среди моделей с открытыми весами лидирует китайская GLM-5.2 (max), которая в инженерном бенчмарке набрала 53 балла, уступив всего два балла Claude Sonnet 5 (max) и GPT-5.5 (xhigh) (по 55). В индексе Strategy & Ops лучшей открытой моделью стала DeepSeek V4 Pro (max) с 38 баллами.
Результаты Artificial Analysis согласуются с данными платформы LMArena, где реальные пользователи ранжируют модели в слепых тестах. По состоянию на 7 июля, Claude Fable 5 занимает первое место в текстовой, кодовой и агентской аренах — Anthropic остаётся единственной лабораторией, лидирующей во всех трёх категориях. В агентской арене Fable 5 на 16,58% опережает среднее по моделям, тогда как GPT-5.5 xHigh — на 8,66%, а GLM 5.2 — на 6,62%.
Claude Fable 5 лидирует во всех индексах, за ним следуют Claude Opus 4.8 и GPT-5.5.
Небольшой отрыв в качестве обходится существенно дороже. По данным Artificial Analysis, стоимость одной задачи для Claude Fable 5 в индексе Strategy & Ops составляет $3,48. Для сравнения: DeepSeek V4 Pro (max) с отставанием в 12 баллов стоит всего $0,03 за задачу — разница более чем в 100 раз. DeepSeek V4 Flash (max) выполняет задачи за $0,04 при средних результатах. GLM-5.2 (max), лучшая из открытых, обходится от $0,26 до $0,58 за задачу.
Высокая премия за лидерство уже вызывает дискуссии среди корпоративных заказчиков. Один из подходов — использовать дорогие фронтирные модели как оркестраторы, передавая конкретные задачи более дешёвым моделям. Другой — сначала проверить, решаема ли задача вообще, а затем искать самую дешёвую модель, которая справляется. Некоторые эксперты, в частности экономист Итан Моллик, полагают, что текущие бенчмарки не полностью отражают прирост производительности Fable 5, однако убедительных подтверждений этому пока нет.
