Bonsai 27B Q1_0 на моей RTX 3070 (8 ГБ). Промпт - 16К
Скорость
• Короткая генерация — 43,9 tok/s
• Cold prefill 16K — 803,22 tok/s
• Длинная генерация — 37,80 tok/s
Прогон
• Выход — 9 264 tok
• Время — 4 мин 6 с
• VRAM — 6 273 МБ занято, 1 568 МБ свободно
• GPU — до ~219 Вт, 77 °C, троттлинга не было
vs Mac mini M4
• Генерация — ×5,3
• Prefill — ×17,5
Итог: 40 токенов в секунду это уже можно дальше вести базар. Осталось понять, какие она результаты дает по качеству на моих задачах, но то что это уже работает - большой прогресс
Post #3013
1.61K
Order of Six Angles Тест Ternary-Bonsai-27B (MLX 2-bit) на моем Mac mini M4 Промпт: 9 992 tok Длина ответа: 128 tok Скорость: 7.52 tok/s Хавает ОЗУ: 11.56 ГБ Итог: Крайне низкая скорость, но и само устройство довольно медленное. На процессорах Pro/Max ожидайте побольше По…