Спекуляции на тему размера GPT-6 Astra.
Вдогонку ещё интересная новость, где автор под ником forloopcodes собрал публичные данные и инсайды в единую картину возможной конфигурации модели OpenAI:
· Параметры: ~1.2T активных (MoE, sparsity 8–12×) при общем размере ~10T - логично для масштаба.
· GPU на все дела: 100-150K NVIDIA Blackwell NVLink72 — подтверждено Дженсеном Хуангом (официально заявил о 100K+).
· Тренировка: претрейн ~90–110 дней, финиш в начале июля 2026 (релиз 3 сентября).
· Данные на обучение: 60–100T токенов - необходимо для 10T-модели.
Спекуляции автора - это экспертная оценка (важное прим.), собранная из публичных данных. Поскольку OpenAI не раскрывает технические детали 🧠, такие цифры получают, комбинируя разные источники. 😮💨
Вот на чем, скорее всего, основаны его расчеты:
· Официальные заявления: Прямое указание на 100K+ Blackwell NVLink72 от главы NVIDIA. + Инфа с openai.
· Инсайды из "авторитетных" СМИ сообщали, что Astra использует технику "recurrent depth". Это объясняет, как можно получить большой прирост без взрывного роста параметров.
· Отраслевые утечки: Многие источники сходились на общем размере модели около 10 трлн параметров с архитектурой MoE.
· Инженерная логика: Имея 100K GPU и зная дату релиза (3 сентября 2026), легко вычислить примерное время претрейна (~90–110 дней). А зная размер модели (~10T) и архитектуру (MoE с активацией ~10%), можно вывести и 1.2T активных параметров, и требуемый объем данных (60–100T токенов).
Кто такой автор?
@forloopcodes – это разработчик и автор ряда opensource-проектов в сфере ИИ. Он не является сотрудником OpenAI 🚬, но его технический бэкграунд, возможно, даёт ему кредит доверия. 🪨
За подгон спасибо @walfry 🤝
Итого, верим?🆒 Пишите в комментариях ниже 👇👇👇
Post #1925
7.4K


- 👍 13
- ❤ 3
- 🔥 3