Американская ИИ-компания PrismML расширила семейство Bonsai 2, представив три новые модели с 2, 4 и 9 миллиардами параметров. Все они созданы на основе Qwen 3.5 от Alibaba.

Разработчики ограничили основные веса языковых моделей тремя значениями: −1, 0 и +1. Благодаря этому размеры файлов удалось сократить до 0,43 ГБ, 0,95 ГБ и 2 ГБ соответственно. Это примерно в девять раз меньше, чем у исходных моделей с 16-битными весами.

Новые модели по-прежнему поддерживают рассуждения, понимание изображений и вызов инструментов. Прежде всего они предназначены для локальных ИИ-агентов, работающих на смартфонах, персональных компьютерах и других устройствах.

По данным PrismML, на iPhone 18 Pro Max модель 9B генерирует до 34 токенов в секунду, тогда как версия 2B достигает скорости 120 токенов в секунду.

В официальных тестах Bonsai 2 9B практически не уступает исходной Qwen 3.5 аналогичного размера в программировании и следовании инструкциям, однако на сложных задачах разница заметнее.

В Tau2Bench, проверяющем способность моделей вести многоэтапные диалоги и работать с инструментами, Bonsai 2 9B набрала 73,02 балла против 85,25 у оригинальной Qwen 3.5. В тесте на анализ сложных документов результаты составили 73,8 и 88,73 балла соответственно.

Веса всех трёх моделей уже опубликованы под лицензией Apache 2.0.

При этом стоит учитывать, что 2 ГБ это размер только языковой модели 9B в наиболее компактном формате. Для обработки изображений потребуется дополнительно загрузить визуальный модуль объёмом около 0,62 ГБ.

https://huggingface.co/collections/prism-ml/bonsai-2-small