在一台 2019 年顶配 MacBook Pro 上试了下,intel CPU 完全带不动这个模型。
反倒是 2020 款的 MacBook Air 跑起来完全没问题。
Post #58
373
DPS Build 一键安装 LlaMA 的工具来了! 一键安装 LLaMA 之后,在一台 M1 Macbook Air上跑起了 7B 的模型,速度还OK。大概吃了4G 内存。 这台机器有 16G 内存,8核的 M1 CPU。跑起来之后,CPU 会跑满。 具体安装步骤: 1. npm install npx (没有 npm 的同学可以先装 npm,js 的包管理工具) 2. npx dalai llama 3. npx dalai serve 它会自动安装相关的 python 包,并下载 7B 的 LLaMA 模型。…