GPT-5 совершила большой скачок, но заметили его немногие

Хотя GPT-5 значительно опережает GPT-4 на новых тестах — приросты доходят до 80 процентных пунктов на самых сложных задачах — релиз восприняли скорее как эволюционное обновление, а не прорыв. В Epoch AI называют две причины такой реакции.

— Первая: модели теперь выходят очень часто. Между GPT-3 и GPT-4 был всего один крупный апдейт — GPT-3.5, а после GPT-4 появлялись Turbo-версии, мини- и high-варианты, o1, o3 и, наконец, GPT-5. При таком темпе, когда новые версии выходят едва ли не каждый месяц, эффект рывка заметить сложно.

— Вторая: насыщение старых бенчмарков. Например, MMLU с почти 16 000 вопросов был пройден GPT-4 почти на 86%, а последующие версии показали лишь небольшое улучшение.

GPT-5 тестировали уже на усложненной версии MMLU-Pro, где результат составил 86%, но при переходе на новые задачи прогресс впечатляет: GPQA Diamond +54 п.п., MATH Level 5 +75 п.п., Mock AIME +80 п.п. METR Time Horizons, где оценивают сложность задач по времени решения человеком, также показал огромный скачок: GPT-3 справлялась с задачами, требующими около 9 секунд, GPT-4 — с задачами до 5,36 минут, а GPT-5 — до 137 минут. То есть прорыв GPT-5 к GPT-4 укладывается в долгосрочную экспоненту, просто он заметен не всем 😂

Как вы воспринимаете новые релизы GPT?

👍 — Эволюция, ничего сверхъестественного
🤔 — Сложно заметить разницу

Data Science