Тест Ternary-Bonsai-27B (MLX 2-bit) на моем Mac mini M4
Промпт: 9 992 tok
Длина ответа: 128 tok
Скорость: 7.52 tok/s
Хавает ОЗУ: 11.56 ГБ
Итог: Крайне низкая скорость, но и само устройство довольно медленное. На процессорах Pro/Max ожидайте побольше
По моему мнению 40 токенов в секунду это комфортно. 60 уже хорошо. 80+ имба. Это в наших нынешних реалиях, когда все супердорого
Post #3012
1.44K
Order of Six Angles PrismML представила модель Bonsai 27B — большую языковую модель (LLM) объемом 27 миллиардов параметров, способную функционировать на смартфонах. Компания анонсировала Bonsai 27B — новую версию Qwen3.6 27B, сжатую до размеров, позволяющих запускать модель…