您的位置首页 >人工智能 >

谷歌最新研究AI智能体只改一处代码,任务成功率暴涨8倍

谷歌发布《Harnesses That Improve Themselves》论文,提出 AI 智能体可以自主优化自身运行框架 Harness,不用反复调提示词,每一轮优化只允许修改一处模块代码,在 SWE-bench Lite 软件工程测试集上,任务成功率直接从 5% 提升至 40%,刚好实现 8 倍提升;对比传统只优化提示词的方式,单纯打磨 prompt 反而会把成功率降到 2.5%,这项研究推翻了很多开发者的固有认知,证明 AI 智能体的瓶颈很多时候不在于大模型本身,而是包裹模型的运行调度框架,开发者可以让 AI 自己迭代框架代码,而不是死磕提示词工程。下面拆解 Harness 是什么、实验设计、优化流程,还有这套方案的优势与局限。

一、Harness:AI 智能体的运行调度框架

Harness 是套在大模型外层的执行框架,不属于模型权重,负责 4 件核心工作:

  1. 上下文与状态管理:保存多轮对话、任务中间状态;
  2. 智能体控制:决定下一步动作、什么时候继续执行、什么时候终止任务;
  3. 工具调用接口:调度代码执行、文件读写、API 调用;
  4. 验证与故障恢复:校验任务结果,出错时自动重试或者回退。

过去行业的主流优化思路,都是修改提示词去约束模型行为,但 Harness 框架一旦适配不佳,就算模型本身很强,智能体也容易陷入死循环、无效调用工具、Token 疯狂消耗。

二、谷歌本次实验核心配置与数据

实验采用仅 142 行代码的简易编程智能体 Harness,拆成上面 4 个独立可编辑模块,每轮优化只能修改其中一个模块(一处代码),搭配 Gemini 3.8 Flash 作为执行模型,使用 40 道 SWE-bench Lite 软件工程考题做盲测,考题没有参与训练优化。

优化方案任务成功率特点
原始 Harness 基线5%基础版本,经常任务中断、逻辑卡死
仅调整提示词优化2.5%传统方案,越调 prompt 效果反而变差
单模块代码迭代优化 Harness40%每次仅改一处模块代码,验证通过才保留修改,提升 8 倍

优化规则:AI 读取历史执行日志定位 bug,生成单模块代码修改方案,送入验证集跑测试,同时设置 Token 消耗上限;验证成功才保留这次代码改动,失败直接丢弃,不会污染原有框架。

三、AI 智能体自我修改代码的完整步骤

  1. 采集日志:AI 智能体执行软件工程任务,记录失败案例、工具调用记录、Token 消耗;
  2. 定位缺陷:优化模型读取日志,判断问题来自 Harness 的哪个模块;
  3. 单点修改:仅对选定的单个模块生成代码改动,不允许一次性大范围重写全部 Harness;
  4. 验证筛选:在验证任务上运行新版本 Harness,校验成功率、Token 开销;
  5. 版本留存:只有指标提升的改动才会保存,不达标修改直接舍弃,进入下一轮迭代。

四、方案优势与现存局限

✅ 优势

  1. 迁移性更强:针对一个模型优化后的 Harness,更容易迁移到其他大模型,减少重复开发;
  2. 降低提示词依赖:不再把全部优化压力放在 prompt,从执行框架层面解决智能体卡死、循环调用问题;
  3. 控制成本:每次只改单模块,相比一次性重写整套框架,大幅降低优化阶段的 Token 消耗。

⚠️ 局限

  1. 当前验证场景集中在软件工程任务,通用场景、多模态 Agent 效果还需要更多测试;
  2. 依然存在安全风险,AI 自主修改代码,上线生产环境需要严格沙箱隔离;
  3. 迭代需要验证数据集,没有测试集的场景很难完成自优化。

【相关 FAQ】

问题 1:谷歌最新研究里,AI 智能体只改一处代码,任务成功率提升多少,基线数据是什么?

回答 1:谷歌这项 AI 智能体研究,基线任务成功率为 5%,采用每次只修改一处模块代码的自优化 Harness 方案,任务成功率提升到 40%,相比原始基线暴涨 8 倍;而传统单纯优化提示词的方案,成功率反而下降到 2.5%。

问题 2:谷歌研究中的 Harness 是什么,和 AI 智能体、大模型之间是什么关系?

回答 2:Harness 是包裹在大模型外面的 AI 智能体运行调度框架,负责上下文管理、工具调用、任务校验和故障恢复;大模型负责生成思考内容,Harness 控制整个智能体的执行流程,本次研究就是让 AI 直接迭代 Harness 代码,而不是修改模型本身。

问题 3:谷歌 AI 智能体自优化 Harness,为什么只改一处代码而不是一次性重写全部框架?

回答 3:谷歌 AI 智能体自优化 Harness 时限制每轮只修改一处模块代码,一方面可以减少单次修改带来的不可控风险,方便定位改动对效果的影响;另一方面大幅降低优化过程的 Token 开销,相比整体重写框架,迭代成本更低,更容易筛选出有效改动。

问题 4:谷歌 AI 智能体修改代码提升成功率的方案,能不能直接放到生产业务里部署?

回答 4:暂时不建议直接上线生产。这套 AI 智能体代码自优化方案目前仅在 SWE-bench Lite 软件工程测试集验证,场景有限;并且 AI 自主修改代码存在安全隐患,生产使用必须配置沙箱隔离、严格校验机制,还需要结合业务数据集做验证。

【参考资料】

[2026-11-20](谷歌最新研究:AI 智能体只改一处代码,任务成功率暴涨 8 倍)虎嗅网

[2026-11-20](只改一处代码,谷歌 AI 智能体优化 Harness 后任务成功率提升 8 倍)IT 之家

[2026-11-20](谷歌新论文:Harnesses That Improve Themselves,AI 智能体自我迭代运行框架)凤凰网科技

[2026-11-20](谷歌 Harness 自优化 AI 智能体实验解读)大河财立方

[2026-11-17](Harnesses That Improve Themselves 谷歌研究论文)Google Research

免责声明

本文谷歌 AI 智能体修改单模块代码提升任务成功率相关内容,来自谷歌公开论文与科技媒体报道,仅作为 AI 智能体技术科普参考,不构成项目落地、产品开发承诺。本次实验结论基于 SWE-bench Lite 软件工程测试集,在不同业务场景、不同大模型下效果会存在差异;AI 自主修改代码存在安全风险,落地前必须进行沙箱测试与安全审计,业务使用产生的风险由使用者自行承担。

今日大家都在搜的词: