Prima.cpp

prima.cpp представляет собой улучшенную версию llama.cpp, позволяющую запускать крупные языковые модели (LLM) до 70B на обычных устройствах, включая ноутбуки и телефоны, с низким использованием памяти (менее 10%).

Prima.cpp позволяет эффективно обрабатывать большие модели, такие как QwQ-32B и Llama 3-70B.

Система поддерживает параллельную обработку через оптимизацию загрузки весов и распределение нагрузки между CPU и GPU.

https://github.com/Lizonghang/prima.cpp
================
👁 News | 👁 Soft | 👁 Gear | 🌐 Links