Держите LLM модель которую не стыдно запустить на своей домашней видяшке

1. скачать Llama.cpp под свою версию

https://github.com/ggml-org/llama.cpp/releases

2. скачать модельки

https://huggingface.co/unsloth/gemma-4-26B-A4B-it-qat-GGUF/resolve/main/gemma-4-26B-A4B-it-qat-UD-Q4_K_XL.gguf

https://huggingface.co/unsloth/gemma-4-26B-A4B-it-qat-GGUF/resolve/main/mmproj-BF16.gguf (переименовать в mmproj-26B-BF16.gguf )

3. положить модельки в папку с лламой/models

4. закинуть мои батники для запуска в корень лламы

5. http://127.0.0.1:8080/

Точно проверенно на 24гб, должно завестись и на 8гб, в инете есть тесты
Модель очень шустро и неплохо болтает, даже код более менее пишет