54 ГБ превратили в 5,9 ГБ: PrismML выпустила Bonsai 2 27B — 27-миллиардную модель на базе Qwen3.8, сжатую в девять раз.

Секрет — веса со значениями −1, 0 и +1. По замерам PrismML, после сжатия сохранилось 98,2% среднего результата исходной модели на их наборе тестов.

Запускать Bonsai локально можно на видеокартах NVIDIA и чипах Apple. Диета у модели вышла СЕРЬЁЗНАЯ.

Подробности — тут.