Оптимизированная модель got-oss-20b для запуска на Маках с 16гб оперативки
brew install llama.cpp
llama-server -hf ggml-org/gpt-oss-20b-GGUF --n-cpu-moe 12 -fa -c 32768 --jinja --no-mmap
Открывается в браузере через порт 8080:
http://127.0.0.1:8080
Подробнее про установки
https://github.com/ggml-org/llama.cpp/discussions/15396
Post #329
27