Утечка SemiAnalysis: за 1,5 года OpenAI не создала новой фронтирной модели

С момента ухода Ильи Суцкевера, с мая 2024 OpenAI не завершили ни одного успешного полномасштабного предобучения для новой фронтирной модели.

Об этом пишет SemiAnalysis и говорит, что это не просто задержка — технический барьер, который OpenAI не преодолел.

Какие причины по версии SemiAnalysis?

1. Проблемы с конвергенцией — модель не достигает нужного качества на больших кластерах. Предыдущие запуски, вероятно, провалились или были прерваны.

2. OpenAI переориентировалась на пост-обучение. Но это не заменяет новое предобучение — оно строится на старой базе данных и вычислений.

3. OpenAI не расширяла кластеры NVIDIA с мая 2024-го. Видна только активность по fine-tuning и RL, но не по предобучению. Они сэкономили ~30% на NVIDIA благодаря конкуренции от TPU, но TPUs ещё не развернуты.

В отличие от OpenAI, Google успешно обучил Gemini 3 целиком на TPUv7, который даёт ~44% снижения TCO по сравнению с NVIDIA GB200, и до 52% для внешних клиентов.

SemiAnalysis подчёркивает, что 3D-торус в TPU важнее микроархитектуры, и Google лидирует в инфраструктуре.

OpenAI, возможно, купит TPU как и Anthropic, Meta(запрещена в России) и xAI, но пока полагается на NVIDIA и AWS.

SemiAnalysis считает, что GPT-5— это пост-тренинг на старой базе GPT-4o. Нет новой предобученной основы, которая бы включала свежие данные и масштабирование FLOPs.

OpenAI не комментировала этот анализ напрямую, но в подкастах, например, с Ноамом Брауном, признавали, что масштабирование предобучения становится дороже и сложнее.