mmap() 之后，30B 的 LLM 只用到了不到6G内存具体原理是：每次的调用不需要使用到所有的 weights，所以使用 lazy loading 可以大大减少内存的消耗。
https://github.com/ggerganov/llama.cpp/discussions/638?sort=top#discussioncomment-5492916
Post #140
430
使用
具体原理是：每次的调用不需要使用到所有的 weights，所以使用 lazy loading 可以大大减少内存的消耗。
https://github.com/ggerganov/llama.cpp/discussions/638?sort=top#discussioncomment-5492916
具体原理是：每次的调用不需要使用到所有的 weights，所以使用 lazy loading 可以大大减少内存的消耗。
https://github.com/ggerganov/llama.cpp/discussions/638?sort=top#discussioncomment-5492916
- ❤ 1