一目录 safetensors 分片下载下来,模型内部的权重长什么样没人知道。
Weight Atlas 对每个权重张量跑一遍真实量化,把 INT8/INT4/FP8 三套方案的误差、频谱和离群通道测出来,铺到一张可缩放画布上,用来看清这个模型哪里能压缩、哪里一压就坏。
https://github.com/alesha-pro/atlas
Post #4616
89

黑科 黑科技资源分享 @deeptech123 · 3.58K subscribers 