Bonsai 27B Q1_0 на моей RTX 3070 (8 ГБ). Промпт - 16К

Скорость
• Короткая генерация — 43,9 tok/s
• Cold prefill 16K — 803,22 tok/s
• Длинная генерация — 37,80 tok/s

Прогон
• Выход — 9 264 tok
• Время — 4 мин 6 с
• VRAM — 6 273 МБ занято, 1 568 МБ свободно
• GPU — до ~219 Вт, 77 °C, троттлинга не было

vs Mac mini M4
• Генерация — ×5,3
• Prefill — ×17,5

Итог: 40 токенов в секунду это уже можно дальше вести базар. Осталось понять, какие она результаты дает по качеству на моих задачах, но то что это уже работает - большой прогресс