Горизонты роста

Размер вышедшей модели GPT Astra оценивается в 10T и обучена она по оценкам на 100к GPU (по словам главы Nvidia). Эта модель показала огромный прирост в понимании 3д пространства и решении многих других задач. Где-то наглядно кажется, что до AGI далеко, а где-то она показала прорывные сверхчеловеческие результаты (решение одной важной математической проблемы брут-форсом из 10к агентов в течение 88 часов)

Сейчас в планах кластеры на 1М карт. Это циклопические сооружения. Возможно, такой размер станет даже пределом для размеров кластеров, по крайней мере на земле.

По оценкам, объём VRAM на картах может вырасти в 10 раз за следующие 7 лет.

Значит можно ожидать рост размеров моделей в 100 раз за следующие 7 лет. Те 1000Т=1П модели. Сопоставляя экспоненту решения задач и находя на ней эту точку думается, что агент на базе этой модели уж точно может заменить человека во всех интеллектуальных задачах.

Есть разные идеи как дальше развивать микроэлектронику, но и этот рост будет очень и очень дорогим. Но какой будет в этом экономический смысл?

Только надежда на "Грааль"! Надежда, что дальнейший рост сверразума будет оправдан шансом получить какие-то чудеса (в числе которых называют дешевую и чистую энергию, лекарство от рака и другие вещи, которые могут бустануть экономику). Возможно, сверразум найдёт способы преодолеть физические ограничения, в которые уперлись люди. Но интуиция подсказывает, что нет.

Если этот прогноз верен, то все мыслимые сейчас трудовые функции могут быть автоматизированы ко времени, когда сыну переходить в старшую школу.