谷歌最新论文《Harnesses That Improve Themselves》完成对照实验,证明 AI 智能体可以自主修改自身 Harness 运行框架代码来提升任务完成能力,不改动大模型权重,只优化工具调用、上下文管理、执行校验这套外围框架,在 SWE-bench Lite 软件工程测试里,模块化分步修改方案把任务成功率从 5% 提升到 40%,平均单任务消耗 4.67 万 Token;如果放开限制让智能体直接整体重写整套运行框架,成功率小幅涨到 42.5%,但是单任务 Token 消耗暴涨到 45.16 万,成本接近模块化方案的 10 倍,只靠调整提示词的对照组反而降到 2.5%,这个结论说明自改进框架确实能拉高智能体效果,但无约束全盘改写的算力开销非常高,后续落地优先采用分模块迭代、加验证筛选的方式来平衡效果和成本。
三组实验对照数据
| 实验方案 | 任务成功率 | 单任务平均 Token 消耗 | 特点 |
|---|---|---|---|
| 原始 Harness 基线 | 5.0% | —— | 初始版本,没有自改进 |
| 模块化单模块迭代优化 | 40.0% | 4.67 万 | 每轮只改一个模块,修改后验证,成本可控 |
| 无限制整体重写 Harness | 42.5% | 45.16 万 | 成功率小幅上涨,Token 成本暴涨近 10 倍 |
| 仅调整提示词优化 | 2.5% | —— | 效果不如原始框架,不推荐 |
这套自改进 Harness 运行框架的工作流程
- 基础 Harness 拆成 4 个独立可编辑模块,整套基础代码只有 142 行
- 智能体先读取任务执行轨迹,定位框架里造成失败的环节
- 每次迭代只允许修改其中一个模块,不一次性全量改写
- 修改完成后自动跑验证集测试,效果变好才保留改动,变差直接回滚
- 反复迭代直到收益不再明显提升,停止自改进流程
Harness 运行框架是什么
Harness 就是智能体的外围运行外壳,不包含模型权重,负责这几件事:
- 管理上下文窗口、历史消息
- 调用外部工具、代码执行、接口请求
- 校验任务结果、判断是否完成目标
- 控制迭代停止条件,避免无限循环
方案优缺点清单
✅ 优点
- 不用微调大模型,改框架就能提升智能体能力,门槛更低
- 模块化方案性价比高,用不多的 Token 就能拿到巨大成功率提升
- 可以适配不同基座模型,迁移性比单独写提示词更好
- 全盘重写模式 Token 成本极高,商用推理很难承担
- 存在过拟合风险,在测试集上优化好,换到陌生任务效果下滑
- 自改进过程本身也要消耗大量算力,不是免费优化
❌ 缺点
【相关 FAQ】
问题 1:谷歌研究发现 AI 智能体可自我改进运行框架,Harness 运行框架和大模型权重是一回事吗?
回答 1:谷歌研究发现 AI 智能体可自我改进运行框架,Harness 运行框架是智能体的外围调度外壳,负责工具调用、上下文管理,和大模型权重相互独立,这套自改进方案不会修改模型权重。
问题 2:谷歌研究发现 AI 智能体可自我改进运行框架,整体重写为什么 Token 成本接近 10 倍?
回答 2:谷歌研究发现 AI 智能体可自我改进运行框架,整体重写是一次性修改全部框架代码,需要大量上下文、多次试错验证;模块化方案每次只改一个模块,改动范围可控,两者对比整体重写 Token 消耗接近 10 倍。
问题 3:谷歌研究发现 AI 智能体可自我改进运行框架,模块化优化和整体重写哪个更适合落地?
回答 3:谷歌研究发现 AI 智能体可自我改进运行框架,模块化优化成功率差距不大、Token 成本低很多,更适合实际落地;整体重写只有小幅提升,算力开销太高,实用性偏弱。
问题 4:谷歌研究发现 AI 智能体可自我改进运行框架,只靠修改提示词能达到类似效果吗?
回答 4:谷歌研究发现 AI 智能体可自我改进运行框架,对照实验显示只调整提示词的方案成功率反而降到 2.5%,比原始基线还要差,远不如修改 Harness 框架的方案。
【参考资料】
[2026-11-20](谷歌研究发现 AI 智能体可自我改进运行框架,成功率提升但整体重写 Token 成本近 10 倍)和讯网
[2026-11-20](谷歌最新研究:AI 智能体只改一处代码,任务成功率暴涨 8 倍)凤凰网科技
[2026-11-19](不改权重也能变强:谷歌开源 Harness²,让智能体自己改自己的外壳)36 氪
[2026-11-17](Harnesses That Improve Themselves)谷歌论文 arXiv
【免责声明】
本文仅为 AI 学术资讯整理,谷歌本次实验数据基于 SWE-bench Lite 基准、Gemini 3.8 Flash 模型测试得出,在不同任务、不同基座模型下成功率、Token 消耗会发生变化;该技术目前处于研究阶段,不代表成熟商用方案,不构成智能体开发、线上部署的选型建议。
