TokenPrint 是一个开源的 3D 可视化调试环境，面向 Transformer 和 LLM 推理。它把 token 在模型中的完整旅程——从 token ID 到 embedding，经过各层归一化、注意力、投影、非线性变换和残差连接，直到最终 logits——以 3D 计算图的形式呈现，让内部计算真正可见、可检查。
逐层检查：可查看 token embeddings、位置信息、RMSNorm、Q/K/V 投影、Grouped-Query Attention、RoPE、注意力分数、softmax、加权值聚合、输出投影、SwiGLU MLP、残差流、logits 与预测。
组件检查：选中任意组件可查看功能说明、数学方程、输入输出维度、参数数量、关联张量路径及数据来源。
数据来源分类：REAL（直接来自模型/运行时）、DERIVED（由真实模型信息计算）、CONCEPTUAL（概念性教育表示）、SIMULATION（模拟行为），避免可视化凭空捏造模型内部。
张量检查：例如 model.layers.3.self_attn.v_proj.weight 可显示 shape 128×896、dtype float32、约 114.7K 参数、层 3、运行时 hf_local。
实验方向：注意力检查、激活分析、残差流分析、张量检查、层/头实验、消融、激活修补、轨迹回放、模型比较。
TokenPrint 开源，欢迎贡献。未来计划支持更广泛的 Hugging Face 模型、远程推理、可共享的 transformer 轨迹等，目标是让 LLM 的内部行为可检查，而非黑盒。
GitHub: GitHub
🔗 原文：点击查看
#开发者 #工具 #TokenPrint #LLM #Transformer #3D可视化 #调试 #开源