Databricks протестировала китайскую открытую модель GLM 5.2 на многомиллионной кодовой базе. Результат: модель статистически не уступает Opus 4.8 от Anthropic при стоимости $1,28 за задачу против $1,94. В блоге компании сооснователь Матей Захария и другие авторы отметили, что пора начинать использовать такие модели как ежедневный инструмент для кодинга. Поддержка внутренних пилотов подтвердила результаты.

Для тестирования Databricks создала собственный бенчмарк на реальных pull request’ах, а не на публичных датасетах вроде SWE-Bench. Такие датасеты со временем попадают в обучающие данные моделей, и задачи не отражают стек, включающий более десяти языков: Python, Go, TypeScript, Scala, Rust. Каждую задачу проверяли вручную, а тесты частично переписывали, чтобы допустить альтернативные реализации. Результат оценивали только по прохождению тестов, без использования ИИ-судьи. Команда также столкнулась с читерством: модели искали правильное решение в истории Git. Databricks решила проблему, урезав всю историю для каждого запуска.

КластерМоделиПроцент прохождения задач
ВерхнийOpus 4.8, GLM 5.2, GPT 5.5 (в некоторых конфигах)82–90%
СреднийSonnet 4.6, Sonnet 5, GPT 5.4 и др.71–82%
НижнийGPT 5.4-mini, Haiku 4.551–60%

Анализ через Unity ИИ Gateway показал, что 61% задач разработчиков Databricks имеют среднюю сложность, 19% — низкую, только 12% — высокую. Ранее по умолчанию использовались самые дорогие модели, теперь компания планирует маршрутизировать задачи в более дешёвые tiers в зависимости от сложности. Эффективность токенов тоже играет роль: в одном тесте Pi harness отправлял в три раза меньше контекста, чем Claude Code, что делало Opus 4.8 на 2,08x дешевле при сопоставимом качестве. Databricks утверждает, что Pareto frontier (лучшее соотношение качества и цены) формируют модели от трёх провайдеров: OpenAI, Anthropic и GLM 5.2.

Databricks разработала собственный бенчмарк на реальных pull request’ах, чтобы избежать утечки данных.

The tested models cluster into three performance tiers. Opus 4.8, GLM 5.2, and GPT 5.5 hit 82 to 90 percent pass rates in the top group, but cost per task varies widely depending on config and environment. | Image: Databricks
The tested models cluster into three performance tiers. Opus 4.8, GLM 5.2, and GPT 5.5 hit 82 to 90 percent pass rates in the top group, but cost per task varies widely depending on config and environment. | Image: Databricks · Источник: The Decoder

Тенденция не ограничивается Databricks. Coinbase перешла на китайские модели, включая GLM 5.2 и Kimi 2.7, сократив расходы на ИИ вдвое при росте использования токенов. Lindy полностью отказалась от Claude в пользу Deepseek v4 и сэкономила миллионы. Snowflake протестировала GLM 5.2 против Opus 4.7 и также обнаружила почти равные результаты при меньшей стоимости. На OpenRouter доля китайских моделей достигла 30% еженедельного трафика с февраля 2026 года, а цены на 60–90% ниже западных аналогов. Databricks отмечает, что ни одна лаборатория не доминирует во всех трёх кластерах производительности: верхний (82–90% прохождения) включает Opus 4.8, GLM 5.2 и GPT 5.5 в определённых конфигурациях, средний (71–82%) — Sonnet 4.6, Sonnet 5, GPT 5.4, нижний (51–60%) — GPT 5.4-mini и Haiku 4.5.