Bonsai 2 27B: локальная модель, которая удивила меня 5 задачами подряд

Bonsai 2 27B: по сути переквантованный плотный Qwen 27B с тернарными весами, сжатый до ~7 ГБ. Саму модель реально уместить даже в 8 ГБ, я тестировал в честном сценарии — 16 ГБ видеопамяти (отсечка на 3090 и связка из двух P104-100 — дров по 2000 рублей). Заявляют 98% качества оригинала — в контексте моих задач это близко к правде.

Год назад с 16 ГБ видеопамяти можно было только плакать, а сейчас можно даже какие-то полезные дела делать с моделями, которые влезают в 16гб.

Видео по ссылкам ниже:
📹 YouTube | VK | Rutube | Dzen 📹
🎓 Мое платное сообщество 🎓