Android Bench — бенчмарк от Google, предназначенный для оценки языковых моделей в задачах разработки под Android. Он включает 100 заданий: от написания функций до отладки и рефакторинга кода. Первая версия появилась в марте, и тогда лидером была одна из моделей OpenAI. Сегодня Google выпустила обновление, добавив восемь новых моделей, метрики стоимости и эффективности, а также поддержку моделей с открытыми весами.
В список новых участников вошли почти все последние тяжеловесы: Claude Fable 5, Claude Sonnet 5, Claude Opus 4.8, GLM 5.2, Kimi K2.7 Code, MiniMax M3, Qwen 3.7 Plus и Qwen 3.7 Max. Разработчики могут загружать собственные агенты и получать оценку на едином наборе задач, а также отправлять отзывы, которые повлияют на будущие версии Android Bench.
Результаты обновлённого рейтинга показывают изменение расстановки сил. Claude Fable 5 вышел в лидеры с точностью 84,5%. За ним следуют GPT 5.4 и Claude Sonnet 5. Собственная модель Google Gemini 3.1 Pro заняла только пятое место, уступив не только лидерам, но и Claude Opus 4.8. Таким образом, несмотря на усилия Google, Gemini продолжает отставать от конкурентов в конкретных задачах Android-разработки.
Google добавила метрики стоимости и эффективности, а также модели с открытыми весами.
Для разработчиков обновление означает появление более объективных критериев выбора ИИ-помощника. Метрики стоимости и эффективности позволяют оценить не только качество, но и практическую применимость модели. Включение open-weight моделей даёт возможность исследовать внутреннее устройство и дообучать решения под собственные нужды. Однако важно помнить, что Android Bench ограничен спецификой Android-разработки и 100 тестовыми заданиями, поэтому результаты не следует экстраполировать на другие области написания кода.
