Вышла первая модель класса 27B, способная работать на смартфоне

PrismML представила Bonsai 27B — 1-битную и тернарную версии Qwen3.6-27B.

Благодаря низкобитному представлению размер исходной FP16-модели удалось сократить с 54 до 3,9 ГБ — примерно на 93%, или в 14 раз.

Доступны две версии:

> 1-bit Bonsai 27B — 3,9 ГБ
Оптимизирована для запуска на смартфонах и использует 1,125 эффективного бита на вес.
> Ternary Bonsai 27B — 5,9 ГБ
Ориентирована на ноутбуки и использует 1,71 эффективного бита на вес.

Тернарная версия сохраняет около 95% производительности модели с полной точностью, а 1-битная — около 90%. Оценка охватывает рассуждения, математику, программирование, следование инструкциям, использование инструментов и работу с изображениями.

Обе версии опубликованы с открытым исходным кодом под лицензией Apache 2.0.

Благодаря кастомным WebGPU-ядрам, разработанным при помощи Fable 5 и GPT-5.6 Sol, Bonsai 27B может запускаться локально прямо в браузере — без отправки данных в облако.

Веса 👍