Чем больше модель, тем больше редких фактов она знает: зависимость оказалась лог-линейной.
Оценки получились такие:
* GPT 5.5 — около 10T параметров
* Claude Opus 4.x — 4–5T
* Grok 4 — 3T
* Gemini 3.1 Pro использовали как якорную точку калибровки, прямой оценки для него нет, но судя по всему — больше 10T
При этом самые редкие факты не знает ни одна модель. Это значит, что все они могли бы стать лучше просто за счёт большего объёма обучающих данных без изменения архитектуры.
Для сравнения: Kimi K2.6 имеет около 1T параметров суммарно, а DeepSeek-V4 1.6Т.
@ai_for_devs