Почему GPT-5 обучался меньше, чем GPT-4.5

Меньше pre-training, больше post-training.

Обычно модели тратили в ~100 раз больше вычислений на предобучение, чем на дообучение.

В GPT-5 ситуация изменилась: масштабирование post-training оказалось выгоднее по качеству на доллар.

- Ключевые факты:
- GPT-5 учился на меньшей базе, но с сильным упором на дообучение.
- Методы reasoning-ориентированного post-training позволяют сократить предобучение примерно в 10 раз при сохранении качества.
- В 2024 году бюджет R&D-вычислений OpenAI был ~$5B, в 2025 вырос до ~$9B.

- Почему не масштабировали как GPT-4.5?
Для безопасного увеличения post-training нужны огромные датасеты задач, среда для RL и длинные циклы экспериментов. Из-за конкуренции OpenAI решила выпустить GPT-5 быстрее, «выжав» максимум из post-training на меньшей модели.

👉 Вероятно, GPT-6 вернётся к большему pre-training + post-training, чтобы раскрыть потенциал масштабирования.

🔬 Новый отчёт от Epoch AI: https://epoch.ai/gradient-updates/why-gpt5-used-less-training-compute-than-gpt45-but-gpt6-probably-wont