阿里QwenGyre将2.4T模型强化学习耗时缩短44%

阿里巴巴千问团队提出 QwenGyre，这是一套专门面向超长任务的 AI Agent 强化学习框架。
随着 Agent 开始承担完整的软件工程任务，一次执行可能持续数小时，涉及数百轮模型调用和工具操作。模型需要从这些任务的实际结果中学习，但传统训练系统容易陷入漫长等待和重复计算。
首先是 GPU 利用率问题。传统同步训练必须等一批 Agent 全部完成任务，才能集中更新模型。不同任务耗时相差很大，先结束的任务会让部分 GPU 长时间闲置。异步训练虽然将任务执行和模型训练分开，却固定了两者的 GPU 配额，难以灵活调配。
QwenGyre 允许 GPU 根据任务进度动态切换用途。随着任务陆续结束，系统将部分 GPU 转入模型训练，剩余 GPU 继续支持尚未完成的 Agent。整个过程无需中断任务，工作区和工具状态也能保留。新加入的 GPU 还可以直接参与当前批次的训练。
另一个问题是训练数据冗余。Agent 反复重试、压缩历史记录或调用子 Agent，会留下大量相互重叠的执行路径。QwenGyre 记录每次模型调用的真实输入和输出，将不同路径整理成共享历史的轨迹树。训练时只选取有限的路径，同一段模型输出不重复计算。即使任务超时，已经完成且能够检验的部分成果仍可用于训练。
团队在 Qwen3.8-2.4T 上进行了验证，单次任务累计处理约 70 万 Token。相同 GPU 预算下，完成 48 步强化学习，QwenGyre 耗时 75.42 小时，传统异步方案需要 134.55 小时，训练时间缩短约 44%。训练后，模型在代码仓库生成测试 NL2RepoBench 上的通过率从 52.48% 提升至 58.54%。论文同时显示，QwenGyre 与传统训练方案取得的训练分数接近。