Безумная сборка для 5090 - скорость доходила до 175 т/с

Наконец-то я чуть пощупал вот это чудо:
https://huggingface.co/neroued/Qwen3.8-27B-nvfp4-NInfer

А все началось с этого поста на Reddit, после которого я загорелся проверить действительно ли такие цифры можно выдавить или снова кликбэйт.

И каково мое было удивление, мало того что скорость генерации отправляет в космос, так еще и префилл достигает безумных 7 660 ток/с

Но я слишком мало потестил, буквально на пару промтах, в прикрепленном видео это один из них.

Остальные тесты в НАШЕМ ЧАТЕ

Держу в курсе и продолжаю наблюдение. Всем быстрых токенов!