🎓 Два способа запустить Gemma 4 на сервере
Проверяем Ollama и llama.cpp на практике
Ollama берет на себя часть технической рутины и упрощает развертывание LLM. llama.cpp требует больше ручных действий, но дает больше гибкости в работе с моделью.
✏️ Сравнили оба подхода на Gemma 4 26B A4B и сервере с RTX 4090 при одном, двух и четырех параллельных запросах.
Какой способ запуска оказался быстрее, сколько видеопамяти потребовалось и во сколько обходится удобство Ollama — рассказали в новой статье Академии Selectel 👉
Post #6893
1.49K

- ❤🔥 7
- ❤ 5
- 😎 2