12 ГБ VRAM и получили до ~80 токенов/сек через llama.cpp + MTP, ещё и с контекстом 128K.Главный трюк - не пытаться запихнуть всю модель в видеопамять, а грамотно разделить нагрузку между GPU и CPU. Важный параметр там
-fitt 1536: он помогает оставить место под draft-модель и KV-cache.Система автора:
Ryzen 9700X, 48 ГБ RAM, RTX 4070 Super 12GB и CachyOS. CachyOS - это быстрый Arch-based Linux-дистрибутив с упором на производительность, свежие пакеты и оптимизированные ядра.На этом фоне интересно смотрится DFlash - открытый проект для ускорения генерации LLM. Он развивает спекулятивное декодирование: маленькая черновая модель заранее предлагает продолжение, а основная модель быстро проверяет, какие токены можно принять.
Фишка DFlash в том, что черновая модель предсказывает не по одному токену, а сразу блок токенов параллельно. Авторы заявляют ускорение до 6 раз без потери качества: в демо обычная генерация даёт 48.5 токена/сек, а DFlash - 415 токенов/сек на той же модели.
Уже есть поддержка vLLM, SGLang, Transformers и MLX, а готовые draft-модели опубликованы для Qwen, Gemma, Kimi, MiniMax, Llama и gpt-oss.
Локальные модели все еще очень специфичное и сложное решение, но благодаря им можно глубже погружаться в то, как устроены LLM.
Чат | OpenClaw One-Click | CloseRouter