Ornith-35B помещается в 8 ГБ VRAM, но счёт оплачивает RAM

Q4_K_M-файл весит 21,2 ГБ. В ноутбучном тесте с выгрузкой MoE-экспертов в оперативную память система заняла 44,48 ГиБ RAM и 2342 МиБ VRAM; 99 ток/с относятся к пяти повторам предсказуемого кода, а при промпте 62,6K авторы измерили 70,29 ток/с. Поэтому 8 ГБ VRAM — не рекомендация по железу: перед локальным запуском считайте всю память и проверяйте свой профиль запросов.