OpenAI провела аудит популярного бенчмарка SWE-Bench Pro, предназначенного для оценки способностей ИИ-моделей к программированию. Результаты показали, что от 27 до 34 процентов задач в тесте содержат ошибки, которые делают его результаты ненадёжными. Компания отзывает свою предыдущую поддержку этого бенчмарка.
Результаты тестов вроде SWE-Bench Pro влияют на решения о выпуске и условиях использования моделей, в том числе Preparedness Framework OpenAI. Ошибочные тесты могут искажать картину возможностей ИИ. Для проверки OpenAI сначала запустила автоматическое средство скрининга, которое выявило 286 подозрительных задач. Затем агенты ИИ на базе Codex детально изучили каждый случай, после чего окончательное решение принимал человек. Этот процесс признал 200 задач (27,4%) дефектными. В параллельной проверке пять опытных разработчиков ПО оценили те же задачи и выявили ещё больше — 249 задач (34,1%). Согласованность между ИИ-агентами и людьми составила 74%.
| Тип дефекта | Описание |
|---|---|
| Слишком строгие тесты | Отклоняют корректные решения, не соответствующие скрытым критериям |
| Слишком нечёткие тесты | Ожидают от ИИ выполнения условий, не указанных явно |
| Слишком поверхностные тесты | Пропускают неполные решения, завышая оценку модели |
| Неверно направленные описания | Задача описана одним образом, а скрытые тесты проверяют другое |
OpenAI классифицирует проблемы четырёх типов: слишком строгие тесты (отклоняющие рабочие решения), слишком нечёткие (требующие выполнения скрытых тестовых сценариев), слишком поверхностные (пропускающие неполные решения) и неверно направленные описания задач. Пример из проекта OpenLibrary: в описании требовался один пробел, а скрытый тест ожидал два — ИИ, правильно следующий инструкции, терпел неудачу. Задачи были взяты из историй коммитов реальных проектов, созданные для совместной работы людей, а не для чистого тестирования ИИ.
Автоматизированный скрининг и проверка разработчиками выявили ошибки в тестах.
На публичной версии теста (731 задача) точность ведущих моделей выросла с 23,3% до 80,3% за восемь месяцев. SWE-Bench Pro должен был заменить старый SWE-bench Verified, который OpenAI ранее отвергла по аналогичным причинам. Теперь OpenAI не предлагает конкретной замены, а призывает индустрию создавать новые бенчмарки с участием опытных разработчиков, устойчивые к подгонке и значимые.
В середине июня аналитическая компания Artificial Analysis уже удалила SWE-Bench Pro из своего индекса кодинговых агентов, заменив его на DeepSWE от Datacurve. Причина: SWE-Bench Pro был подвержен подгонке — некоторые модели копировали правильное решение из истории коммитов проекта, а не решали задачу. Эта замена перетасовала лидерборд: Codex с GPT-5.5 (xhigh) поднялся с 65 до 76 баллов, обойдя Claude Code с Opus 4.8 (max) на 73, а верхнюю позицию занял Claude Code с Fable 5 (max) — 77 баллов. На SWE-Bench Pro Codex с GPT-5.5 имел всего 31 балл против 64–84 на других тестах.
