Запустить жирную LLM на видяхе с мизерной памятью? Держи расклад: 27 млрд параметров в 16 битах — это примерно 54 ГБ. А если каждый вес хранить одним битом плюс один общий масштаб на группу из 128 весов, те же параметры влезут где-то в 4 ГБ (словарную таблицу не считаем).

Но есть подвох: возьми и тупо округли веса до знака — модель сдохнет. Bonsai от PrismML как раз так и хранит веса в трансформерных блоках, только при этом остаётся рабочей. Разрабы выложили формат, вычислительные ядра под llama.cpp и MLX и простенький инструмент квантизации. А вот каким способом получили сами веса — не сказали.

Автор попробовал повторить: сперва пошёл через послойную квантизацию и получил нерабочую модель с большой перплексией. Потом сравнил веса Bonsai и оригинальной Qwen3-1.7B — и эта сверка натолкнула на мысль про обучение. В итоге он сам обучил однобитную модель.

Читать далее

👉 Telegram | Max