Во-первых появляются очень мощные локальные модели типа qwen3.8-flash-next которые могут вывалиться из видеопамяти в оперативку и при этом все еще работать быстро, так как сделана она специально так что самые важные слои будут в видеокарте
Во-вторых В llama.cpp добавили GPU-кэш для MoE-экспертов, которые хранятся в оперативной памяти хоста. Эта функция позволяет значительно ускорить инференс для моделей, которые не помещаются целиком в видеопамять. Суть в том, что вместо медленного вычисления на CPU через DDR4/5 система динамически подгружает нужные эксперты в VRAM по шине PCIe, вытесняя при этом менее используемые.
Механизм работает эффективно, так как отдельные эксперты имеют небольшой размер (например, около 244 МБ для Qwen3.8-Flash). Шина PCIe справляется с обменом данными достаточно быстро, чтобы GPU успевал обработать предыдущий токен, пока необходимые веса загружаются. например на RTX 3080 10GB можно увидеть рост скорости генерации с 35 до 47 токенов в секунду на модели Qwen3.6-35B-A3B при использовании флага
--moe-cache-mib.Для достижения максимального эффекта необходимо экспериментировать с параметром
--moe-cache-mib, так как «золотой середины» не существует и всё зависит от объёма доступной RAM и VRAM. Стоит помнить, что чрезмерно большой кэш может деградировать скорость prefill, поэтому подбирать настройки нужно под конкретное железо.