MEMORY WALL - в AI / p.6


Если брать по отдельности чип NVIDIA, одну штуку, например B200 или R200 - то наиболее затратная часть этого чипа для NVIDIA = затраты на память HBM, которые составляют > 50% себестоимости
( 2000 -3000$ )

Больше других типов памяти внутри самого чипа не ставят.
Остальные уровни памяти, о которых говорил в постах выше - ставят уже в кластерах GPU.
Все дата-центры работают на кластерах, а не на одиночных чипах.
Все крупные клиенты NVIDIA закупают кластеры.

Себестоимость, кластера из 72 чипов на примере NVIDIA GB200 NVL72:
3 200 000$
из которых > 15% уходит на G1-G4 память, при это сам GPU Silicon чип ( без HBM ) составляет ~ 10% BoM

Если рассматривать, VR200 NVL72 - то там общий BoM потенциально будет доходить ~5 000 000$
и при этом добавляется новый уровень памяти + увеличивается емкость прошлых уровней в разы - > BoM на память увеличивается >20%

[ Более детальные расчеты ]


Если брать, каждый уровень памяти - то с каждым новым поколением чипа - объем этой памяти увеличивается на 50% -200%+


G1 [ HBM ]
H100 -> B200 -> R200
1x- > 2.5x -> 4x

G2 [ Host-Dram ]
GB200 NVL72 - > VR200 NVL72
1x - > 3x

G3 [ Local NVMe/SSD ]
GB200 - > R200
1x > 5x

G3.5 [ Inference Context Memory Storage ]
новый вид памяти, не было в прошлых поколениях


G4. Networked external storage
H100 - > GB200 NVL72
1x - > 2x