谷歌最新《Harnesses That Improve Themselves》研究提出 Self-Harness 方案,不再靠反复调整提示词优化 AI 智能体,而是让 AI 直接修改包裹大模型的 Harness 运行框架代码,每一轮优化只允许改动一个模块、也就是一处代码,在 SWE-bench Lite 编程基准测试里,初始 Harness 任务成功率仅 5%,优化之后涨到 40%,刚好提升 8 倍;有意思的是单纯修改提示词反而让成功率跌到 2.5%,这套方案把 142 行基础 Harness 拆成 4 个独立模块,修改之后自动跑验证集校验效果、控制 Token 开销,不需要重新训练底层 Gemini 模型,在控制算力成本的前提下拿到明显效果,整体重写 Harness 虽然成功率略高,但 Token 消耗会接近 10 倍,成本很难落地。
一、实验核心数据清单
| 优化方式 | 任务成功率 | 单任务平均 Token 消耗 | 备注 |
|---|---|---|---|
| 原始 Harness | 5.0% | —— | 基线版本,Gemini 3.8 Flash |
| 单模块代码修改(Self-Harness) | 40.0% | 46700 Token | 本次核心方案,提升 8 倍 |
| 不限定整体重写 Harness | 42.5% | 451600 Token | 效果略好,算力开销暴涨 |
| 仅调整提示词优化 | 2.5% | —— | 效果反向变差 |
二、Harness 四个可编辑模块说明
- 上下文与状态管理:负责保存对话、任务进度、历史轨迹;
- 智能体控制模块:决定智能体下一步动作、执行逻辑;
- 工具调用接口:管理代码执行、命令调用等外部工具;
- 验证与故障恢复:检查结果对错、出错之后重试兜底。
三、单处代码优化完整流程
- 采集日志:AI 智能体跑任务,记录失败案例、执行轨迹;
- 定位缺陷:优化模型从日志找到 Harness 里有问题的模块;
- 单点修改:只改动选定模块内的代码,不改动其他模块;
- 自动验证:在测试集上跑一遍,核对成功率、Token 消耗;
- 筛选留存:验证通过就保留这次代码改动,效果变差直接丢弃;
- 迭代循环:持续重复,逐步积累有效的 Harness 改进点。
四、技术关键点
- Harness 不是大模型本身,是包裹模型、让它变成可执行智能体的运行外壳;
- 全程不微调、不训练 Gemini 底层权重,只改外围调度框架;
- 模块化限制单次改动范围,避免一次性大改带来不可控风险。
【相关 FAQ】
问题 1:谷歌 AI 智能体优化 Harness 方案,任务成功率提升多少倍?
回答 1:谷歌 AI 智能体优化 Harness 框架的 Self-Harness 方案,在 SWE-bench Lite 测试中任务成功率从 5% 提升到 40%,相比原来提升 8 倍。
问题 2:谷歌这个 Harness 是什么,和大模型本身有什么区别?
回答 2:Harness 是包裹在大模型外面的运行调度框架,用来管理上下文、工具调用、任务校验,谷歌 AI 智能体优化 Harness 只改这套外壳代码,不改动底层 Gemini 模型权重。
问题 3:谷歌 AI 智能体优化 Harness 为什么限制每次只改一处代码?
回答 3:谷歌 AI 智能体优化 Harness 限制每次只改一处代码,是为了控制改动风险、降低 Token 消耗,对比直接全盘重写 Harness,在效果接近的情况下大幅节省算力成本。
问题 4:给 AI 智能体调提示词和优化 Harness 代码,哪个效果更好?
回答 4:在谷歌本次实验条件下,只调整提示词的方式反而让任务成功率下滑到 2.5%,AI 智能体优化 Harness 代码的方案拿到了 40% 的成功率,效果差距很大。
【参考资料】
[2026-11-20](只改一处代码,谷歌 AI 智能体优化 Harness 后任务成功率提升 8 倍)IT 之家
[2026-11-20](谷歌最新研究:AI 智能体只改一处代码,任务成功率暴涨 8 倍)科创板日报
[2026-11-20](Better to Change Code Than Prompts: Google Lets AI Modify Its Own Runtime Framework)AIbase
[2026-11-17](Harnesses That Improve Themselves)arXiv
【免责声明】
本文信息整理自谷歌公开论文与科技媒体报道,谷歌 AI 智能体优化 Harness 的效果只在 SWE-bench Lite 编程基准上验证,跨场景、其他模型上效果不一定复刻;内容仅作为 AI 智能体技术科普资讯,不构成项目开发、算力采购决策依据。
