LoopCD——提升Looped Transformers性能

🍎 Ruixiang Zhang 博士在 Apple MLR 发布了一项名为 LoopCD 的新研究，它能显著提升预训练 Looped Transformers 模型的性能，而且几乎没有额外成本

🧐 Looped Transformers 被传言用在 GPT-6 Astra 和 Gemini 4 等前沿模型中。LoopCD 是一种推理时方法，无需重新训练或增加额外模型就能生效

📈 实验数据显示，LoopCD 带来了显著提升：AIME 2024 (Ouro-2.6B) 的表现从 61.9 提高到 73.3，HumanEval (Huginn) 的表现从 22.6 提高到 31.7

🔗 信源

🗝 Roller | AI 中文社区