谷歌发布《Harnesses That Improve Themselves》论文,提出 AI 智能体可以自主优化自身运行框架 Harness,不用反复调提示词,每一轮优化只允许修改一处模块代码,在 SWE-bench Lite 软件工程测试集上,任务成功率直接从 5% 提升至 40%,刚好实现 8 倍提升;对比传统只优化提示词的方式,单纯打磨 prompt 反而会把成功率降到 2.5%,这项研究推翻了很多开发者的固有认知,证明 AI 智能体的瓶颈很多时候不在于大模型本身,而是包裹模型的运行调度框架,开发者可以让 AI 自己迭代框架代码,而不是死磕提示词工程。下面拆解 Harness 是什么、实验设计、优化流程,还有这套方案的优势与局限。
一、Harness:AI 智能体的运行调度框架
Harness 是套在大模型外层的执行框架,不属于模型权重,负责 4 件核心工作:
- 上下文与状态管理:保存多轮对话、任务中间状态;
- 智能体控制:决定下一步动作、什么时候继续执行、什么时候终止任务;
- 工具调用接口:调度代码执行、文件读写、API 调用;
- 验证与故障恢复:校验任务结果,出错时自动重试或者回退。
过去行业的主流优化思路,都是修改提示词去约束模型行为,但 Harness 框架一旦适配不佳,就算模型本身很强,智能体也容易陷入死循环、无效调用工具、Token 疯狂消耗。
二、谷歌本次实验核心配置与数据
实验采用仅 142 行代码的简易编程智能体 Harness,拆成上面 4 个独立可编辑模块,每轮优化只能修改其中一个模块(一处代码),搭配 Gemini 3.8 Flash 作为执行模型,使用 40 道 SWE-bench Lite 软件工程考题做盲测,考题没有参与训练优化。
| 优化方案 | 任务成功率 | 特点 |
|---|---|---|
| 原始 Harness 基线 | 5% | 基础版本,经常任务中断、逻辑卡死 |
| 仅调整提示词优化 | 2.5% | 传统方案,越调 prompt 效果反而变差 |
| 单模块代码迭代优化 Harness | 40% | 每次仅改一处模块代码,验证通过才保留修改,提升 8 倍 |
优化规则:AI 读取历史执行日志定位 bug,生成单模块代码修改方案,送入验证集跑测试,同时设置 Token 消耗上限;验证成功才保留这次代码改动,失败直接丢弃,不会污染原有框架。
三、AI 智能体自我修改代码的完整步骤
- 采集日志:AI 智能体执行软件工程任务,记录失败案例、工具调用记录、Token 消耗;
- 定位缺陷:优化模型读取日志,判断问题来自 Harness 的哪个模块;
- 单点修改:仅对选定的单个模块生成代码改动,不允许一次性大范围重写全部 Harness;
- 验证筛选:在验证任务上运行新版本 Harness,校验成功率、Token 开销;
- 版本留存:只有指标提升的改动才会保存,不达标修改直接舍弃,进入下一轮迭代。
四、方案优势与现存局限
✅ 优势
- 迁移性更强:针对一个模型优化后的 Harness,更容易迁移到其他大模型,减少重复开发;
- 降低提示词依赖:不再把全部优化压力放在 prompt,从执行框架层面解决智能体卡死、循环调用问题;
- 控制成本:每次只改单模块,相比一次性重写整套框架,大幅降低优化阶段的 Token 消耗。
⚠️ 局限
- 当前验证场景集中在软件工程任务,通用场景、多模态 Agent 效果还需要更多测试;
- 依然存在安全风险,AI 自主修改代码,上线生产环境需要严格沙箱隔离;
- 迭代需要验证数据集,没有测试集的场景很难完成自优化。
【相关 FAQ】
问题 1:谷歌最新研究里,AI 智能体只改一处代码,任务成功率提升多少,基线数据是什么?
回答 1:谷歌这项 AI 智能体研究,基线任务成功率为 5%,采用每次只修改一处模块代码的自优化 Harness 方案,任务成功率提升到 40%,相比原始基线暴涨 8 倍;而传统单纯优化提示词的方案,成功率反而下降到 2.5%。
问题 2:谷歌研究中的 Harness 是什么,和 AI 智能体、大模型之间是什么关系?
回答 2:Harness 是包裹在大模型外面的 AI 智能体运行调度框架,负责上下文管理、工具调用、任务校验和故障恢复;大模型负责生成思考内容,Harness 控制整个智能体的执行流程,本次研究就是让 AI 直接迭代 Harness 代码,而不是修改模型本身。
问题 3:谷歌 AI 智能体自优化 Harness,为什么只改一处代码而不是一次性重写全部框架?
回答 3:谷歌 AI 智能体自优化 Harness 时限制每轮只修改一处模块代码,一方面可以减少单次修改带来的不可控风险,方便定位改动对效果的影响;另一方面大幅降低优化过程的 Token 开销,相比整体重写框架,迭代成本更低,更容易筛选出有效改动。
问题 4:谷歌 AI 智能体修改代码提升成功率的方案,能不能直接放到生产业务里部署?
回答 4:暂时不建议直接上线生产。这套 AI 智能体代码自优化方案目前仅在 SWE-bench Lite 软件工程测试集验证,场景有限;并且 AI 自主修改代码存在安全隐患,生产使用必须配置沙箱隔离、严格校验机制,还需要结合业务数据集做验证。
【参考资料】
[2026-11-20](谷歌最新研究:AI 智能体只改一处代码,任务成功率暴涨 8 倍)虎嗅网
[2026-11-20](只改一处代码,谷歌 AI 智能体优化 Harness 后任务成功率提升 8 倍)IT 之家
[2026-11-20](谷歌新论文:Harnesses That Improve Themselves,AI 智能体自我迭代运行框架)凤凰网科技
[2026-11-20](谷歌 Harness 自优化 AI 智能体实验解读)大河财立方
[2026-11-17](Harnesses That Improve Themselves 谷歌研究论文)Google Research
免责声明
本文谷歌 AI 智能体修改单模块代码提升任务成功率相关内容,来自谷歌公开论文与科技媒体报道,仅作为 AI 智能体技术科普参考,不构成项目落地、产品开发承诺。本次实验结论基于 SWE-bench Lite 软件工程测试集,在不同业务场景、不同大模型下效果会存在差异;AI 自主修改代码存在安全风险,落地前必须进行沙箱测试与安全审计,业务使用产生的风险由使用者自行承担。
