Сейчас на первых трёх уровнях сложности из четырёх лучшая модель, GPT-5-High, решает 29% задач. Но это если делать 1 прогон и сравнивать один ответ. Но если бы вы запустили GPT-5 бесконечное количество раз, решила бы она в конечном итоге все проблемы?
Epoch.AI
Из оставшихся задач выбрали 10 и прогнали ещё 100 раз — и ни в одной из попыток ни для одной из задач GPT-5 не смогла дать правильный ответ. Это согласуется с ожиданиями.
Если же сделать суп из всех моделей и систем, которые тестировались на бенчмарке, включая ChatGPT Agent и Gemini Deep Think, то суммарно решается 57% задач, что почти наверянка не превышает 70%, если делать сильно больше прогонов.
Зачем вообще заниматься такой оценкой? Она может подсказать нам, чего ждать от ближайших обновлений моделей. Из-за того, как устроен процесс обучения размышлениям, можно ожидать, что если задача решается хотя бы один раз в 32-64 генерации, то можно забутстрепить до плюс-минус надёжного решения этой и других схожих задач.
И вот сейчас оказывается, что для 30% задач даже одной такой попытки нет. Правда у меня тут есть скепсис: часть задач в бенчмарке подразумевает поиск узкосепциализированной литературы по математическим разделам. Помню, что для некоторых задач давали описание, что их понимает буквально 10-20 человек на планете, и что по смежным темам есть по 2-3 статьи.
Из всех замеренных систем только ChatGPT Agent имеет доступ в интернет, и он показывает самый лучший результат при 16 прогонах, решая 49% задач, 14 из которых не решены ни одной другой моделью (у GPT-5 тут 46% при 32 решениях и всего 1 уникальная задача). Epoch.AI пишут, что в будущем добавят возможность делать поиск в интернете — ждём обновлений результатов в будущем.
По оценке авторов, в 2026-м модели будут решать +- 80% задач (с первой попытки, не группой).