🔖 Выжимаем максимум из локальных LLM

Нашли один из самых подробных гайдов по оптимизации локального запуска нейросетей.

Автор собрал практически всё, что влияет на скорость инференса: выбор видеокарты, работу с VRAM, квантизацию, настройку llama.cpp, KV-кэш, MoE-модели и множество практических рекомендаций.

⛓️ Пользуемся здесь

tags: #полезное

➡ Data Scientist | Чат