python 版的来了,基于 PyTroch。
需要自行下载 LLaMA 的 weights。
https://github.com/thomasantony/llamacpp-python
Post #89
340
DPS Build 在单机上可以跑得动 Meta 发布的 LLaMA 模型。 https://til.simonwillison.net/llms/llama-7b-m2 https://twitter.com/ggerganov/status/1634282694208114690 #ml