Модель на 27B сжали до 4 Гб без потери качества ответов — Bonsai 27B может запуститься на одном iPhone 17 Pro Max

Команда PrismML сжала её по технологии 1-bit quantization — с 54 Гб до 3,9 Гб. При таком сжатии 90% качества ответов сохраняется. Также есть модель чуть помощнее Ternary Bonsai 27B размером 5.9 Гб, где качество ответов сохранено на 95%.

Помимо текстовых ответов, модели могут в мультимодальность, ризонинг, кодинг, вызов инструментов и агентские задачи. То есть это уже готовые миниатюрные агенты, способные запуститься хоть на картошке.

Чуваки также запилили демо WebGPU, где модель запускается на мощностях браузера. Тыкаем тут.

Пет-проект