Пока все отвлекались на
unsloth, дай ему б-г здоровья, скачал и пожал Kimi K2.5 вплоть до читерского UD-TQ1_0, который 1 бит (или 1.58 не-маркетинговых битов)
Вся эта радость влезает на любое железо, где есть 256гб любой (sic!) памяти.
rtx 4090 24gb + 256gb ram/fast ssd = 5tokens/s для 1.58 бит.
Плюсом к этом GPU тоже больше нинужны, если у вас есть много свободного времени, так как:
Microsoft завезли оптимизаций для CPU-инференса в свой BitNet, и 1.58б квант Kimi K2.5 можно теперь гонять как не в себя, но это не точно.
tweet
bitnet github
веса