Всего 6 ГБ видеопамяти хватит, чтобы запустить модель на 27 млрд параметров.

PrismML выкатили сверхсжатую версию Qwen3.8 27B — Bonsai 2 27B. Их модель в 9 раз компактнее, но при этом она сохранила 98% эффективности оригинала на бенчмарках.

Как итог, мультимодальную модель с контекстным окном в 262 тысячи токенов можно запустить локально прямо на своем железе.

Ставим себе тут.