Agent 智能体在自我优化的时候，原来固定不变的诊断打分标准（rubric）会跟不上它的变化，旧评判规则会漏掉新暴露出来的缺陷，RuHarness 这套框架就是解决这个痛点，让诊断标准和 Harness 运行脚手架协同演化，Agent 每次迭代之后，系统自动从执行轨迹里挖掘新的失败模式，更新评判标准，再用新版标准指导 Harness 做针对性修改，而不是一直用一套静态规则去评估持续进化的 Agent。传统方案大多是先定好一套评测标准，再用这套标准去优化 Harness，Agent 修复老问题之后，往往会冒出全新的弱点，旧标准识别不出这些新问题，优化就容易卡在原地，甚至出现伪提升、过拟合的情况，RuHarness 改成交替迭代闭环，一轮更新诊断标准、一轮更新 Harness，整个流程分为轨迹采集、弱点挖掘、诊断标准更新、Harness 优化、回归验证几个环节，在代码实现、软件工程类基准测试上，这套协同演化思路的效果明显优于静态评测基线方案。
一、RuHarness 和传统静态评测方案对比
| 对比维度 | 传统静态 Rubric+Harness 方案 | RuHarness 协同演化方案 |
|---|---|---|
| 诊断标准 | 人工提前写好，全程固定不变 | 从 Agent 运行轨迹自动发现新弱点，动态更新评判标准 |
| 优化目标 | 只修复一开始就识别出来的缺陷 | 持续追踪不断变化的失败分布，优先针对最新暴露弱点优化 |
| 风险问题 | Agent 修复旧 bug 后产生新 bug，旧标准无法识别，容易出现虚假提升 | 标准跟着 Agent 的弱点变化同步更新，减少漏判、误判 |
| 迭代模式 | 单向：固定标准→优化 Harness | 双向交替：更新 rubric→优化 Harness，循环推进 |
| 适用短板 | 适合弱点固定、场景稳定的任务 | 适合 Agent 持续自我改进、缺陷不断变化的开放场景 |
二、RuHarness 核心闭环流程
- 轨迹采集：用当前版本 Harness 运行 Agent，在演化任务集上跑任务，收集完整的执行轨迹、失败记录
- 弱点挖掘：分析轨迹，识别新的失败模式，区分是老问题复发还是全新的缺陷
- 诊断标准（rubric）更新：新增、修改、淘汰旧评判条目，形成新版诊断标准池，筛选高优先级弱点作为优化目标
- Harness 方案生成：基于新版诊断标准，生成脚手架修改方案，比如调整提示词、工具调用规则、分支判断逻辑
- 回归验证：测试候选 Harness 改动，确认新弱点被修复，同时不会破坏之前已经修好的能力
- 进入下一轮循环：把验证通过的 Harness 投入下一轮，继续采集轨迹、挖掘新弱点
三、RuHarness 的关键设计要点
- 标准不是一次性写完的
- 交替演化，不是同时改
- 专门解决 “评判者落后于被评估者”
- 保留回归校验机制
Rubric 是动态池子，不是固定清单，随着 Agent 行为变化，有些旧评判项会失效，新的评判项会加入，系统会做优先级排序，优先处理高频、高影响的弱点。
一轮迭代里优先更新诊断标准，再拿新标准去优化 Harness，避免标准和脚手架同步乱改，导致优化信号混乱。
也就是论文里提到的 Critic Falls Behind 问题，Agent 进化速度超过评测标准的更新速度，评测信号失效，RuHarness 直接从 Agent 自己的运行数据里生成新评判依据。
每次修改 Harness 之后，都要跑旧测试用例，防止为了修复新问题，把之前已经稳定的能力弄坏。
四、实验表现小结
在代码编写、软件工程任务基准上，RuHarness 对比静态 Harness、Reflexion 等基线方案，持续迭代过程里识别缺陷的能力更强，不容易陷入局部最优。前期迭代的时候，诊断标准变化幅度很大，快速补齐漏掉的评判维度；迭代后期改动慢慢变小，偏向精细化微调，这个规律也印证了 Agent 的弱点分布是持续变化的，诊断标准不能一成不变。
五、综合结论
Agent 自我改进不能只优化 Harness 脚手架，诊断评判标准本身也要跟着迭代，不然评测体系会失效。RuHarness 的核心价值就是建立 rubric 和 Harness 协同演化闭环，自动捕捉 Agent 迭代后新冒出来的弱点，用同步更新的诊断标准驱动 Harness 持续优化，更适配长期、多轮 Agent 自我改进场景。
【常见问题】
问题 1：Agent 自我改进诊断标准需同步迭代，RuHarness 实现 Harness 跟随新弱点持续优化，RuHarness 解决了什么核心痛点？
回答 1：Agent 自我改进诊断标准需同步迭代，RuHarness 实现 Harness 跟随新弱点持续优化，它解决静态诊断标准跟不上 Agent 进化的问题，Agent 修复老缺陷后会产生新弱点，旧标准识别不出，RuHarness 让评判标准和 Harness 一起协同迭代。
问题 2：Agent 自我改进诊断标准需同步迭代，RuHarness 实现 Harness 跟随新弱点持续优化，RuHarness 的 rubric 是什么？
回答 2：Agent 自我改进诊断标准需同步迭代，RuHarness 实现 Harness 跟随新弱点持续优化，rubric 就是诊断打分标准、评测条目清单，用来判断 Agent 的行为是否存在缺陷，在 RuHarness 里这个清单会动态更新。
问题 3：Agent 自我改进诊断标准需同步迭代，RuHarness 实现 Harness 跟随新弱点持续优化，RuHarness 是怎么迭代的？
回答 3：Agent 自我改进诊断标准需同步迭代，RuHarness 实现 Harness 跟随新弱点持续优化，它采用交替迭代闭环，先采集 Agent 轨迹挖掘新弱点更新 rubric，再用新版 rubric 生成、验证 Harness 改动，循环往复持续优化。
问题 4：Agent 自我改进诊断标准需同步迭代，RuHarness 实现 Harness 跟随新弱点持续优化，RuHarness 和传统 Harness 优化最大区别在哪？
回答 4：Agent 自我改进诊断标准需同步迭代，RuHarness 实现 Harness 跟随新弱点持续优化，传统方案评测标准固定，只改 Harness；RuHarness 是诊断标准、Harness 脚手架两者协同演化，持续追踪不断变化的 Agent 弱点。
【参考资料】
[2026-10-20]（When the Critic Falls Behind: Co-Evolving Rubrics and Harnesses for Continual Agent Self-Improvement）arXiv
[2026-11-08]（Agent Harness 的评测驱动迭代流程）CSDN 博客
[2026-10-19]（谷歌开源 Harness²，递归自我改进 RSI 框架解读）36 氪
[2026-06-08]（Self-Harness：智能体自主优化运行框架）智源社区
【免责声明】
本文仅对 RuHarness 论文公开方案、Agent 自我改进相关技术信息做客观梳理；该框架属于前沿学术研究成果，尚未大规模商用落地，性能表现、适配场景以论文实验结果为准，本文不构成技术选型、项目落地建议。