坐不住了! Meta 把 Muse Spark 开源了!
Meta 刚刚开源了 Muse Spark Open 大模型! 1M上下文, 支持全模态输入!
模型参数量816B-A42B, 说实话这个激活数量可不小, 尤其是对比 DeepSeek-v4.1-flash (552B MoE 主干 + 196B Engram 查找表) 这种 prefill 只激活 8B 的神奇玩意. 我还把 DeepSeek 的测试得分整合进了官方表格, 目前来看, 这个模型应该是个 Agent 能力特化模型, 不是一个编程能力很强的模型. 任何一个国产旗舰应该都能超过它的编程能力.
当然激活大除了推理更吃硬件导致速度慢以外, 还是有优点的, 一般来讲大激活对多步任务(Agent Loop)的稳定性更有帮助, 更不容易出现上下文漂移和逻辑崩溃.
不过 Meta 也补救了一手, 跟这个模型一起放出了用 PyTorch Helion DSL 编写的算子 (RoPE、RMSNorm、量化等), 在 NVIDIA GB300 上比手写的 CUDA/CuTe 算子快 1.03x～3.95x, 同一套代码直接移植到 AMD MI350 上也有类似的算子级提升 (端到端吞吐 +3%). 另外 SGLang 里还有实验性的 Helion megakernel, 把注意力、MoE 等整层操作融合成单个持久化核心 (Persistent Kernel), batch=1 的 decode 大概能快 10%.
但是这个激活量立刻让我想起了之前的 Llama 4 Scout (109B-A17B), 吹能支持10M上下文, 结果实际部署巨耗费显存, 这次更是激活参数量翻了2.47倍. 好消息是这次用了混合局部注意力, 62 层里有 46 层是 2048 token 的滑动窗口, 只有 16 层全局注意力需要存完整上下文的 KV Cache.
我试算了一下, NVFP4 权重 + 官方推荐的 FP8 KV Cache, 跑满 1M 上下文时 KV Cache 大概 34.6GB (如果 62 层全是全局注意力的话要 133GB), 加上权重 537GB 就是约 572GB, 再算上激活值和运行时开销, 官方建议至少 700GB 显存, 也就是单台 4 卡 Blackwell (比如 4×B300) 起步.
呃...总之跟我无缘了... 速报测试一会给大家放出,