https://huggingface.co/Dragoy/Swift-Qwen3.8-27B-abliterated-NVFP4-NInfer
Взял свежий релиз Swift-Qwen3.8-27B, расцензурил способом huihui-ai, квантовал NVFP4+FP8 способом unsloth и добавил все в контейнер NInfer у которого на сегодняшний день самая быстрая скорость на 5090 (я выжимал 200т/с на этой модели).
Релиз для владельцев жирных 5090 и любителей побаловаться с локальными нейронками.
ps. У кого есть лишний инференс, напишите мне, любопытно сделать бенч на кодинг сколько расцензуривание могло затупить ее.
Всех GPUголовых обнял!
