LUT3 в NVIDIA Rubin

Блогпост от какого-то челика
Описание хранения в PTX ISA

Последнее поколение GPU от NVIDIA добавило аппаратную поддержку специфичного 3-битного типа данных LUT3.

Данный тип из себя представляет следующее:
• 3-битные значения
• Один скейл на 32 значения как в MXFP (0.25 бита на значения)
• Одна кодовая книга из 8-битных слов в FP8 на 512 весов (0.125 бит на значение)

Итого 3.375 бит, или на 20% меньше MXFP4.

Утверждается, что в таком виде его можно подать тензорным ядрам, и они сами умножат, как надо и довольно быстро.

Выглядит как перспективный вариант сжимать и обучать LLM-ки, с поддежкой батчового инференса.

Однако никаких бенчмарков скорости, времени работы умножения с таким представлением, я нигде не смог найти 😓.