Джон Кармак предлагает заменить HBM на оптоволокно

Отец Doom и технический гений Джон Кармак устал смотреть на ценники HBM-памяти и предложил безумную альтернативу для ИИ-серверов. Идея звучит как научная фантастика: хранить веса нейросетей не в чипах DRAM, а буквально в полете, в виде световых импульсов внутри 200-километровой оптоволоконной петли. По расчетам Кармака, такая карусель фотонов обеспечит буфер в 32 ГБ с чудовищной пропускной способностью 32 ТБ/с, что физически недостижимо для обычных планок памяти.

Фокус в том, что при инференсе паттерны обращения к весам полностью предсказуемы, система заранее знает, какой кусок данных понадобится и когда. Поэтому можно просто ловить нужный фрагмент на каждом обороте петли. Для моделей с триллионом параметров таких петель понадобится много, но Кармак замечает, что пропускная способность оптоволокна растёт быстрее, чем у DRAM. А в качестве более приземлённой альтернативы он предлагает склеить кучу дешёвых флеш-чипов с конвейерным чтением. Это уже сейчас могло бы работать, если бы производители флеша и ускорителей договорились об интерфейсе.

Пост набрал 1,3 млн просмотров за два дня, и это понятно, на фоне дефицита и космических цен на HBM-память для ускорителей NVIDIA любая идея "а что если обойтись без неё" звучит заманчиво.