清华季向阳团队联合腾讯推出 TreeOPSD 树状奖励分配方案，解决深度研究 Agent 传统奖励均分带来的信用分配难题，在深度研究测试任务上，整体准确率相比原有基线提升 4.97 个百分点，这套方案核心就是给 Agent 做精准的 “论功行赏”，不再把最终结果好坏平均分摊给每一步搜索、浏览动作，传统强化学习训练 Agent 的时候，不管是有用的检索步骤还是无效重复浏览，全部统一给一样的奖励或者惩罚，很容易出现把关键有效操作误惩罚、把冗余无效操作误奖励的情况，Agent 学不会筛选高价值信息，只会反复调用搜索工具浪费算力；TreeOPSD 把整个搜索推理流程组织成树状分支结构，顺着最终答案质量反向回溯，单独评估每一条分支、每一个检索节点对最终结果的贡献大小，给贡献高的路径分配更高奖励，无效分支少给甚至不给奖励，训练的时候重点强化真正有用的检索和推理动作，让 Agent 慢慢学会少做无效搜索、优先去查找高价值资料，适合长链路深度调研、多轮检索问答这类任务。
一、TreeOPSD 与传统奖励分配方式对比
| 方案 | 奖励分配逻辑 | 存在问题 | 适配场景 |
|---|---|---|---|
| 传统均分奖励 | 一次任务结束，全部步骤统一使用同一个最终奖励 | 有效步骤、无效步骤混在一起，信用分配混乱，模型容易学错 | 简单短任务，步骤少、分支少 |
| TreeOPSD 树状信用分配 | 构建搜索分支树，反向评估每个节点贡献，差异化分配奖励 | 需要维护分支树，增加少量计算开销 | 深度研究、多轮检索、长推理 Agent |
二、TreeOPSD 核心工作流程清单
- 构建搜索分支树：Agent 每一次搜索、跳转、阅读，都生成一条独立分支，记录不同检索路径的信息和结果
- 任务结束评估答案质量：用打分模型判定最终回答是否准确、信息是否可靠
- 反向回溯贡献度：沿着树结构往回追溯，计算每一个节点、每一步操作对最终答案的贡献权重
- 差异化发放奖励：贡献高的关键检索节点获得更高正向奖励，无效重复浏览、错误跳转拿到低奖励或者负奖励
- 模型参数更新：用差异化奖励信号微调 Agent 策略，引导后续优先选择高收益检索路径
- 持续迭代：多轮任务重复树构建、打分、回溯、奖励分配流程，逐步提升 Agent 信息筛选能力
三、方案带来的直观收益
- 指标提升：深度研究任务准确率提升 4.97 个百分点，是本次公开实验的核心结果
- 减少无效调用：Agent 主动减少重复、冗余的搜索请求，降低工具调用成本和 token 消耗
- 长链路推理更稳：多轮检索调研不容易被无效信息带偏，信息取舍能力变强
- 通用性强：适配检索增强型 Agent，不需要大规模额外标注数据，基于最终答案质量自动分配信用
四、现存局限说明
- 会增加分支树存储、回溯打分的计算开销，推理和训练阶段成本小幅上涨
- 依赖答案质量评估模块，打分模块本身的判断偏差会直接影响奖励分配效果
- 目前主要在深度研究、检索问答类任务验证，在代码智能体、多模态 Agent 上还需要进一步测试
- 复杂超大规模分支场景，分支数量爆炸之后，回溯计算耗时会明显上升
五、总结
清华腾讯这套 TreeOPSD 方案的核心创新，就是给深度研究 Agent 补上精细的信用分配能力，也就是大家说的 “论功行赏”，改掉之前一锅端均分奖励的老问题，在测试中拿到 4.97 个百分点的准确率提升。它不靠大量人工标注中间步骤好坏，依靠树状分支回溯，从最终答案反推每一步检索动作的价值，引导 Agent 学会甄别信息、少做无用搜索，对于做调研、资料检索类的大模型 Agent 工程落地有很高参考价值。
【常见问题】
问题 1：清华腾讯让 Agent 学会论功行赏的 TreeOPSD 方案，深度研究任务准确率提升多少？
回答 1：清华腾讯 TreeOPSD 方案让 Agent 学会论功行赏，在深度研究任务上，相比原有基线方案准确率提升 4.97 个百分点。
问题 2：清华腾讯 TreeOPSD 实现 Agent 论功行赏，和传统强化学习奖励分配差别在哪？
回答 2：传统方案把最终结果奖励平均分给所有步骤，分不清有效和无效动作；TreeOPSD 构建树状分支，反向评估每个检索节点贡献，差异化分配奖励，实现 Agent 的论功行赏。
问题 3：清华腾讯这套 Agent 论功行赏的 TreeOPSD，适合什么类型的 AI 任务？
回答 3：清华腾讯 TreeOPSD 适合深度研究、多轮检索问答、长链路资料调研这类任务，主打优化检索类 Agent 的信息筛选和工具调用策略。
问题 4：Agent 通过 TreeOPSD 学会论功行赏之后，除了准确率提升还有什么好处？
回答 4：Agent 学会论功行赏之后，会主动减少重复无效搜索，降低搜索工具调用频次，减少 token 消耗，长链路调研的时候不容易被无关信息干扰。
【参考资料】
[2026-11-14]（深度研究准确率提升 4.97 个百分点！清华腾讯让 Agent 学会 “论功行赏”）智源社区
[2026-11-13]（深度研究准确率提升 4.97 个百分点！清华腾讯让 Agent 学会 “论功行赏”）量子位
[2026-11-13]（清华腾讯 TreeOPSD：面向深度研究 Agent 的树状信用分配方法）51CTO
[2026-11-13]（TreeOPSD，给检索 Agent 做精细信用分配，解决长任务奖励模糊问题）AI 科技评论
[2026-11-12]（大模型 Agent 信用分配研究综述：解决 “论功行赏” 难题）机器之心
【免责声明】
本文仅为清华腾讯 TreeOPSD、Agent 论功行赏相关前沿研究资讯科普，不构成 Agent 训练、模型微调的工程落地决策建议；4.97 个百分点准确率提升来自论文公开实验基准测试结果，不同基础模型、数据集、业务场景下效果存在差异；方案的开源、商用授权、训练成本等信息以清华、腾讯官方论文及发布公告为准。