Квантизация пришла из цифровой обработки сигналов: так когда-то оцифровывали звук. Теперь слово опять на слуху. Один энтузиаст запустил модель Qwen от Alibaba на FPGA-плате за $50. Вообще без видеокарты. Без жёсткой квантизации модель бы туда просто не влезла.

Пример: «Качай Q4, Q8 твой ноутбук не потянет».

Те самые Q4 и Q8 в именах файлов на Hugging Face как раз обозначают число бит. Продавцы видеокарт этому термину рады меньше всех.

ИИ что дальше? Подпишись, да пребудут с тобой токены!
🪦 Похорони свою профессию в нашем приложении