Victor Mustar, Head of Product в Hugging Face, порекомендовал это подробное руководство по оптимизации локального запуска LLM через llama.cpp.

В статье разбираются выбор железа, настройка ОС, квантизация моделей, работа с памятью и способы повышения скорости инференса на потребительских ПК. 😁