TCOD团队 投稿 凹非寺量子位 | 公众号 QbitAI把强大模型的能力“蒸馏”给小模型听起来很美——但放到多轮对话Agent场景里效果往往一塌糊涂。为什么香港中文大学联合阿里通义事业群给出了答案并提出了一种名为TCODTemporal Curriculum On-Policy Distillation的训练方法。上图左表示在多轮Agent的OPD训练中随着交互轮次的增加教师模型对学生生成回复中各token的概率分配持续降低表明每轮的 KL 散度不断攀升最终导致监督信号失效。右表示原始OPD使用完整轨迹进行训练因此包含了所有累积的误差而TCOD-F2B/B2F则通过课程学习从短轨迹逐步扩展至长轨迹有效规避了误差轮次的干扰。团队发现失效的根本原因在于轨迹级KL不稳定性每一轮误差不断累积把学生模型推到老师模型从未见过的状态区域老师的监督信号因此彻底失效。而TCOD用课程学习的思路让学生模型从短轨迹开始、循序渐进地学习完整轨迹一举解决了多轮Agent蒸馏的稳定性难题。TCOD只需对现有OPD代码做极少改动On-Policy DistillationOPD已经在SFT和RL之后成为了第三种有效的post-training训练方式。然而OPD虽然在数学推理等单轮任务上很好用但放到ALFWorld、WebShop这类多轮交互任务里直接翻车小模型KL散度飙升 成功率崩塌到接近0大一点的模型虽然最终收敛但初始KL极高训练极不稳定(ALFWorld上不同师生模型组合的轨迹级KL分析。(a)(b) 显示在整个训练过程中KL散度持续攀升同时任务完成率出现崩塌。(c) 展示了OPD训练中初始KL与收敛后KL之间的巨大差距。(d) 揭示了背后的根本原因KL散度随交互轮次的增加而增大表明误差沿轨迹方向不断累积放大。)那TCOD是怎么解决的呢核心思路很简单别一开始就让学生独立走完整条轨迹用课程学习从短到长慢慢来。具体有两种变体F2B前向到后向先让学生负责前几步再逐步接管后续步骤B2F后向到前向先让老师引导到接近终点的状态学生只负责最后几步再逐渐向前延伸两种方式只需对现有OPD代码做极少改动。KL崩溃被彻底压制小模型直接“满血复活”团队在三个难度递增的多轮Agent基准上验证了TCOD的效果包括ALFWorld具身导航、WebShop电商购物以及ScienceWorld科学推理。在这些基准上TCOD成功率最高提升了18个百分点同时把平均行动步数也一并压了下来。最值得关注的是小模型的“死而复生”。以Qwen3-1.7B为例用Vanilla OPD训练后模型在三个基准上的平均成功率仅有0.17%。这几乎是完全崩溃、毫无可用性。但换上TCOD之后同一个1.7B小模型的平均成功率直接拉升至18%以上提升幅度超过18个百分点。这意味着TCOD把一个“废了”的模型重新训活了。对于更大的模型TCOD则是锦上添花。以Qwen2.5-3B学生模型为例在ALFWorld的Valid Unseen测试集上Vanilla OPD成功率为60.45%而TCOD-F2B的成功率为79.19%提升了18.74个点。不仅如此TCOD还把完成任务所需的平均行动步数压缩了2.97步推理效率和任务性能同步提升。△TCOD与OPD在ALFWorld上的训练动态对比上图(a)(b) 分别展示了以Qwen2.5-7B为学生模型Qwen2.5-7B-RL之后的作为teacher模型时的成功率与KL散度变化曲线。TCOD在整个训练过程中始终保持更高的成功率同时KL散度也更加平稳可控。△TCOD与OPD在ALFWorld上的训练动态对比上图(a)(b)分别展示了以Qwen2.5-7B为学生模型Qwen2.5-7B-RL之后的作为teacher模型时的训练过程中的平均行动步数与优势函数的变化曲线。研究人员还专门构建了一个Hard测试集——121个教师模型pass10采样全部失败的任务教师自身成功率仅6.61%。结果Qwen2.5-7B学生模型在TCOD-B2F的训练下Hard集成功率达到20.66%比教师高出整整14个点。让模型学会”从短到长、循序渐进”地走轨迹不仅能学会老师会的还能泛化到老师根本不会的任务。△TCOD与OPD在ALFWorld上的域外泛化及困难集性能对比另外研究人员还测试了训练效率。TCOD-F2B和B2F比Vanilla OPD减少了约32%的总训练时间。原因也很直接课程学习早期只走短轨迹rollout更短、数据收集更快省下来的计算量相当可观。团队还进一步验证了超参鲁棒性发现课程扩展速率η在{2,4,6}之间变动成功率波动不超过2%几乎不需要调参就能直接用。TCOD展现出的这种“循序渐进”模式让AI更接近人类学习的方式。也就是先在简单场景里站稳脚跟再逐步挑战复杂任务而不是一开始就被扔进深水区。未来这类时序课程机制很可能成为训练长程Agent的标配组件。论文https://arxiv.org/pdf/2604.24005GitHubhttps://github.com/kokolerk/TCODModelScopehttps://modelscope.cn/collections/wjqkoko/TCODHugging Facehttps://huggingface.co/collections/kolerk/tcod