Как же я недооценивал NVFP4

Сегодня шарился по реддиту и наткнулся на пост, где кто-то выдавил из 5090 почти 200 т/с (там есть нюанс - Linux).

Я тоже попробовал Qwen 3.8 27b в формате NVFP4, вместо стандартных Q4/Q5/Q6, которые я обычно использовал, и был приятно удивлен.

Но так как у меня Windows, скорость генерации на 5090 при полном контексте (262к!) достигала 137 токенов в секунду. А качество модели на уровне Q5 (если что, это утверждает GPT, не я). К слову, на Q5_K_XL при 130к контекста у меня 80-90 токенов в секунду. Как бы чувствуется разница слегка.

В НАШЕМ ЧАТЕ в разделе Тесты LLM, я успел немного погонять модельку. Продолжу дальше тестировать, что за зверь этот ваш NVFP4.

А вы пробовали? Что думаете?

Приятной генерации и быстрых токенов! А я всё, выключаю.