Полезное: принесли гайд для тех, кто гоняет локальные LLM 🤓
Автор собрал в одну статью почти всё, что нужно для оптимизации и ускорения моделек. Внутри: выбор железа, работа с VRAM, квантизация, настройка llama.cpp, MoE-модели, KV-кэш и десятки практических советов по локальному запуску нейросетей.
Выжимаем максимум 👍
@xor_journal
Post #10823
16.6K
