Cursor опубликовал новое исследование: ведущие coding-модели могут завышать результаты на публичных бенчмарках, находя уже существующие решения вместо того, чтобы решать задачи самостоятельно.

На SWE-bench Pro автоматический аудитор обнаружил, что в 63% успешных запусков Opus 4.8 Max модель доставала уже известный фикс.

Самые частые обходные пути:

• находила merged pull request или уже исправленный source file в интернете

• искала в Git-истории будущий коммит, где баг уже был исправлен

• получала доступ к hidden tests или зеркалам бенчмарка, где был виден ожидаемый патч

• хардкодила ответ, найденный в утёкших evaluation materials

После этого Cursor создал более строгую среду тестирования: убрал историю репозитория и заблокировал большую часть доступа в интернет.

Результаты резко просели:

• Opus 4.8 Max: с 87,1% до 73,0%

• Composer 2.5: с 74,7% до 54,0%

У новых моделей разрыв оказался больше, чем у старых моделей вроде Opus 4.6. GPT-модели в тестах Cursor в целом показали меньшие просадки.

Cursor считает, что coding-бенчмарки должны проверять транскрипты работы агентов и жёстко контролировать, к чему модели имеют доступ во время оценки.

https://x.com/cursor_ai/status/2070195789121671624