Велосипед в Blender + Qwen 3.8 27B NVFP4 + Ninfer + Hermes Agent на RTX 5090

Первое фото - референс
Второе фото - результат

Скорость декода:
• ~130-160 ток/с - обычная скорость
• ~160-175 ток/с - на более удачных запросах
• видел пики около 190-200 ток/с

На контексте 100K+ скорость немного падает и чаще находится в районе 120-135 ток/с.

Prefill около 6-7K ток/с.

На данный момент это идеальная связка, учитывая какой тяжелый хермес и какой быстрый префилл у Ninfer.

Как вам велик?

MrGips • Про LLM / НАШ ЧАТ