您的位置首页 >科技要闻 >

谷歌新研究发现 AI 智能体修改单处框架代码,任务成功率直接暴涨 8 倍

谷歌最新论文《Harnesses That Improve Themselves》带来了一个和主流思路不一样的结论,以往大家优化 AI 智能体大多是反复打磨提示词,但这次实验证明,与其不断改提示词,不如让 AI 智能体去修改包裹大模型的运行框架 Harness 里的单模块代码,在 SWE-bench Lite 编程测试集上,任务成功率从原来的 5% 提升到 40%,刚好提升 8 倍;而且这种每次只改一处模块、加验证筛选的方式,相比放任 AI 全盘重写整个框架,还能省下大量 Token 开销,提示词调优反而在对照实验里出现效果下滑,这个发现也给后续智能体迭代开辟了新方向,不再只局限在 Prompt 工程上。整套方案的核心是把只有 142 行代码的 Harness 拆成 4 个独立模块,每一轮优化只允许改动其中一个模块,改完之后自动跑验证任务,只有效果变好的修改才保留下来,以此形成自我迭代闭环,测试基底模型选用 Gemini 3.8 Flash。

一、Harness 四大可修改模块清单

  • 上下文与状态管理模块:负责记忆、历史对话、任务状态留存
  • 智能体控制模块:任务调度、执行分支、循环逻辑控制
  • 工具调用接口模块:调用代码执行、检索等外部工具
  • 验证与故障恢复模块:结果校验、报错重试、异常兜底

二、三种优化方案效果对比表

优化方式任务成功率单任务平均 Token 消耗特点
原始基准版本5.0%较低无任何优化
只调整提示词2.5%中等效果反而变差,容易出现提示词冲突、逻辑混乱
单次修改一个模块代码(本次方案)40.0%约 4.67 万性价比高,收益明显,Token 可控
允许 AI 完整重写整套 Harness42.5%约 45.16 万上限略高,但 Token 消耗接近 10 倍,成本很高

三、这套 AI 智能体自优化流程步骤

  1. AI 读取之前任务执行日志,定位智能体失败的根因
  2. 选定 Harness 其中一个模块,生成一处代码修改方案
  3. 在验证数据集上运行修改后的框架,评估成功率变化
  4. 如果指标提升,保留这次代码改动;效果变差直接丢弃
  5. 循环迭代,持续筛选有效的代码改动,持续提升智能体能力

四、这项研究带来的行业启发

  1. Prompt 工程不是 AI 智能体优化的唯一路线,底层运行框架的代码迭代潜力巨大
  2. 模块化 + 小改动 + 验证闭环,可以平衡智能体能力提升和算力成本
  3. 未来智能体可以具备自主修改自身运行外壳的能力,实现持续自我改进

五、目前存在的局限

  • 当前验证场景主要集中在软件工程代码任务,其他多模态、现实工具任务还需要更多测试
  • 框架本身体量很小,只有 142 行代码,复杂大型智能体框架能不能复用这套方法还不确定
  • 存在安全风险,如果没有严格校验,AI 修改代码有可能引入漏洞、越权逻辑

【相关 FAQ】

问题 1:谷歌这项 AI 智能体研究,为什么只改一处代码就能让任务成功率暴涨 8 倍?

回答 1:谷歌这项 AI 智能体研究,是修改 Harness 运行框架里单个模块代码,而不是修改大模型本身,每次小改动加上验证筛选机制,解决了工具调用、状态管理、结果校验里的执行漏洞,把任务成功率从 5% 提升到 40%,实现暴涨 8 倍,单纯调提示词反而效果下滑。

问题 2:谷歌研究里的 Harness 是什么,和 AI 智能体是什么关系?

回答 2:谷歌研究中的 Harness 是包裹大模型的 AI 智能体运行框架,负责管理上下文、调度任务、调用工具、校验结果,本次方案就是让 AI 智能体自主迭代优化这套 Harness 代码,而不是改动底层 Gemini 模型权重。

问题 3:对比改提示词,AI 智能体修改框架代码有哪些优势?

回答 3:在谷歌的对照实验里,AI 智能体修改框架代码可以把成功率暴涨 8 倍,而单纯修改提示词后成功率下降;同时单次改单模块代码方案,相比全盘重写框架,Token 消耗大幅降低,算力成本更可控。

【参考资料】

[2026-11-20](谷歌最新研究:AI 智能体只改一处代码,任务成功率暴涨 8 倍)科创板日报

[2026-11-20](只改一处代码,谷歌 AI 智能体优化 Harness 后任务成功率提升 8 倍)IT 之家

[2026-11-20](Better to Change Code Than Prompts: Google Lets AI Modify Its Own Runtime Framework)AIbase

[2026-11-17](Harnesses That Improve Themselves)Google Research

【免责声明】

本文仅为谷歌 AI 研究论文的公开资讯整理,不构成 AI 智能体开发、模型调优落地指导。本次 AI 智能体成功率暴涨 8 倍的结论,基于 SWE-bench Lite 编程基准测试,在其他业务场景不一定能复刻同等效果;方案存在代码修改安全风险,自主迭代框架上线前务必做好安全沙箱与审计校验,相关技术落地请自行评估风险。

今日大家都在搜的词: