Decode: ~43 tok/s (стабильно ~42.9–43.3)
GPU: ~89–97%, ~108 W
KV cache: 65.4% — длинный контекст
Это на 2xRTX 5060 TI. Быстрее чем стоковая и по ощущениям не тупее. Но буду дальше тестировать
Post #3160
1.51K
Order of Six Angles У кого blackwell советую попробовать модель https://huggingface.co/sakamakismile/Huihui-Qwen3.8-27B-abliterated-NVFP4