Нейросеть на 27 млрд параметров ужали в 9 раз и теперь её можно запустить на картошке — чуваки из PrismML выпустили Bonsai 2 27B на базе Qwen3.8.

Веса языковой модели занимают жалкие 5,9 ГБ вместо 54 ГБ у исходной версии.
Весь секрет в весах со значениями −1, 0 и +1. По замерам разрабов, после сжатия сохранилось 98,2% среднего результата исходной модели на их наборе тестов. То есть размер сократили радикально, а просадка в тестах небольшая

Модель пишет код, работает с инструментами и поддерживает контекст на 262 тысячи токенов. Всё это можно запускать локально на карточках NVIDIA или чипах Apple.

Забираем большую модель в маленькой упаковке — здесь.

The Open Ai