Гигантскую модель с 27 миллиардами параметров теперь можно запускать прямо у себя дома — команда PrismML представила Bonsai 2 27B, основанную на сжатой в 9 раз (!) версии Qwen3.8.
Веса перекодировали в значения −1, 0 и +1 — теперь модель занимает 5,9 ГБ вместо привычных 54 ГБ. При этом качество осталось почти нетронутым: 98,2% от исходного результата. Контекстное окно — до 262 тыс. токенов.
Ваш карманный ИИ-гигант уже ждёт. Забираем! 🚀
Program Service
Post #5203
266
- 👎 1