В Твиттере появился отличный гайд по локальному запуску LLM — автор подробно разобрал все тонкости llama.cpp 🔥

Внутри — текстовые рекомендации, полезные флаги для оптимизации: --fit on, --fit-ctx 65536, --fit-target 512 и другие фишки.

Чудес не обещают, но выжать из железа больше токенов в секунду — вполне реально ⚡️

Источник

🤖 Ботоферма в деле!