谷歌最新论文《Harnesses That Improve Themselves》带来了一个和主流思路不一样的结论,以往大家优化 AI 智能体大多是反复打磨提示词,但这次实验证明,与其不断改提示词,不如让 AI 智能体去修改包裹大模型的运行框架 Harness 里的单模块代码,在 SWE-bench Lite 编程测试集上,任务成功率从原来的 5% 提升到 40%,刚好提升 8 倍;而且这种每次只改一处模块、加验证筛选的方式,相比放任 AI 全盘重写整个框架,还能省下大量 Token 开销,提示词调优反而在对照实验里出现效果下滑,这个发现也给后续智能体迭代开辟了新方向,不再只局限在 Prompt 工程上。整套方案的核心是把只有 142 行代码的 Harness 拆成 4 个独立模块,每一轮优化只允许改动其中一个模块,改完之后自动跑验证任务,只有效果变好的修改才保留下来,以此形成自我迭代闭环,测试基底模型选用 Gemini 3.8 Flash。
一、Harness 四大可修改模块清单
- 上下文与状态管理模块:负责记忆、历史对话、任务状态留存
- 智能体控制模块:任务调度、执行分支、循环逻辑控制
- 工具调用接口模块:调用代码执行、检索等外部工具
- 验证与故障恢复模块:结果校验、报错重试、异常兜底
二、三种优化方案效果对比表
| 优化方式 | 任务成功率 | 单任务平均 Token 消耗 | 特点 |
|---|---|---|---|
| 原始基准版本 | 5.0% | 较低 | 无任何优化 |
| 只调整提示词 | 2.5% | 中等 | 效果反而变差,容易出现提示词冲突、逻辑混乱 |
| 单次修改一个模块代码(本次方案) | 40.0% | 约 4.67 万 | 性价比高,收益明显,Token 可控 |
| 允许 AI 完整重写整套 Harness | 42.5% | 约 45.16 万 | 上限略高,但 Token 消耗接近 10 倍,成本很高 |
三、这套 AI 智能体自优化流程步骤
- AI 读取之前任务执行日志,定位智能体失败的根因
- 选定 Harness 其中一个模块,生成一处代码修改方案
- 在验证数据集上运行修改后的框架,评估成功率变化
- 如果指标提升,保留这次代码改动;效果变差直接丢弃
- 循环迭代,持续筛选有效的代码改动,持续提升智能体能力
四、这项研究带来的行业启发
- Prompt 工程不是 AI 智能体优化的唯一路线,底层运行框架的代码迭代潜力巨大
- 模块化 + 小改动 + 验证闭环,可以平衡智能体能力提升和算力成本
- 未来智能体可以具备自主修改自身运行外壳的能力,实现持续自我改进
五、目前存在的局限
- 当前验证场景主要集中在软件工程代码任务,其他多模态、现实工具任务还需要更多测试
- 框架本身体量很小,只有 142 行代码,复杂大型智能体框架能不能复用这套方法还不确定
- 存在安全风险,如果没有严格校验,AI 修改代码有可能引入漏洞、越权逻辑
【相关 FAQ】
问题 1:谷歌这项 AI 智能体研究,为什么只改一处代码就能让任务成功率暴涨 8 倍?
回答 1:谷歌这项 AI 智能体研究,是修改 Harness 运行框架里单个模块代码,而不是修改大模型本身,每次小改动加上验证筛选机制,解决了工具调用、状态管理、结果校验里的执行漏洞,把任务成功率从 5% 提升到 40%,实现暴涨 8 倍,单纯调提示词反而效果下滑。
问题 2:谷歌研究里的 Harness 是什么,和 AI 智能体是什么关系?
回答 2:谷歌研究中的 Harness 是包裹大模型的 AI 智能体运行框架,负责管理上下文、调度任务、调用工具、校验结果,本次方案就是让 AI 智能体自主迭代优化这套 Harness 代码,而不是改动底层 Gemini 模型权重。
问题 3:对比改提示词,AI 智能体修改框架代码有哪些优势?
回答 3:在谷歌的对照实验里,AI 智能体修改框架代码可以把成功率暴涨 8 倍,而单纯修改提示词后成功率下降;同时单次改单模块代码方案,相比全盘重写框架,Token 消耗大幅降低,算力成本更可控。
【参考资料】
[2026-11-20](谷歌最新研究:AI 智能体只改一处代码,任务成功率暴涨 8 倍)科创板日报
[2026-11-20](只改一处代码,谷歌 AI 智能体优化 Harness 后任务成功率提升 8 倍)IT 之家
[2026-11-20](Better to Change Code Than Prompts: Google Lets AI Modify Its Own Runtime Framework)AIbase
[2026-11-17](Harnesses That Improve Themselves)Google Research
【免责声明】
本文仅为谷歌 AI 研究论文的公开资讯整理,不构成 AI 智能体开发、模型调优落地指导。本次 AI 智能体成功率暴涨 8 倍的结论,基于 SWE-bench Lite 编程基准测试,在其他业务场景不一定能复刻同等效果;方案存在代码修改安全风险,自主迭代框架上线前务必做好安全沙箱与审计校验,相关技术落地请自行评估风险。
