PrismML представила модель Bonsai 27B — большую языковую модель (LLM) объемом 27 миллиардов параметров, способную функционировать на смартфонах.

Компания анонсировала Bonsai 27B — новую версию Qwen3.6 27B, сжатую до размеров, позволяющих запускать модель локально на мобильных устройствах и стандартных ноутбуках.

Было выпущено две версии:
Ternary Bonsai 27B — объем 5,9 ГБ, эффективная точность 1,71 бита на вес. Версия ориентирована на максимальное сохранение качества.
1-bit Bonsai 27B — объем всего 3,9 ГБ, эффективная точность 1,125 бита на вес. По заявлению разработчиков, это первая модель класса 27B, способная работать непосредственно на смартфоне.

Несмотря на значительное сжатие, авторы заявляют о сохранении большей части качества исходной модели:
Ternary — около 94,6% производительности FP16-версии.
1-bit — около 89,5%.

https://prismml.com/news/bonsai-27b

Надо чекнуть