Короче, модели до 9B параметров зажатые в любой Q4_* лучше в принципе обходить стороной, они пздц как сильно тупеют. Q8 на их фоне смотрится как гигамозг.

Скажем спасибо, моей G0VNO методике оценок моделей.

P.S.
Тесты еще до сих пор гоняю 🫠

P.P.S.
Всякие файнтюны квена, типа омникодера это плацебо. Мб для агентов он получше будет выполнять тул-колинг, но это не исчключает того факта, что сама модель крайне-тупая, и еще сильнее всех страдает при квантизации в 4-е бита.