Llama cpp – движок для запуска больших языковых моделей прямо на ноутбуке, и именно на нём работает всё что называется «запустить AI локально», включая Ollama, Jan и большинство десктопных клиентов

Скачал GGUF-модель с HuggingFace, запустил один бинарник и разговариваешь с языковой моделью уровня ChatGPT без интернета, без API-ключа и без того чтобы ваши данные куда-то ушли

— Работает на CPU и GPU, поддерживает Apple Silicon с Metal-ускорением и NVIDIA через CUDA, а формат GGUF, который он ввёл, стал де-факто стандартом для дистрибуции квантованных моделей

Языки: C++ (56.1%), C (15.8%), Python (7.3%), ...

⭐️ Star 127k

https://github.com/ggml-org/llama.cpp

⚡️ @becaps // max.ru/becaps