您的位置首页 >科技要闻 >

谷歌 AI 智能体自主优化 Harness 框架,单次代码修改任务成功率提升 8 倍

谷歌最新《Harnesses That Improve Themselves》研究提出 Self-Harness 方案,不再靠反复调整提示词优化 AI 智能体,而是让 AI 直接修改包裹大模型的 Harness 运行框架代码,每一轮优化只允许改动一个模块、也就是一处代码,在 SWE-bench Lite 编程基准测试里,初始 Harness 任务成功率仅 5%,优化之后涨到 40%,刚好提升 8 倍;有意思的是单纯修改提示词反而让成功率跌到 2.5%,这套方案把 142 行基础 Harness 拆成 4 个独立模块,修改之后自动跑验证集校验效果、控制 Token 开销,不需要重新训练底层 Gemini 模型,在控制算力成本的前提下拿到明显效果,整体重写 Harness 虽然成功率略高,但 Token 消耗会接近 10 倍,成本很难落地。

一、实验核心数据清单

优化方式任务成功率单任务平均 Token 消耗备注
原始 Harness5.0%——基线版本,Gemini 3.8 Flash
单模块代码修改(Self-Harness)40.0%46700 Token本次核心方案,提升 8 倍
不限定整体重写 Harness42.5%451600 Token效果略好,算力开销暴涨
仅调整提示词优化2.5%——效果反向变差

二、Harness 四个可编辑模块说明

  1. 上下文与状态管理:负责保存对话、任务进度、历史轨迹;
  2. 智能体控制模块:决定智能体下一步动作、执行逻辑;
  3. 工具调用接口:管理代码执行、命令调用等外部工具;
  4. 验证与故障恢复:检查结果对错、出错之后重试兜底。

三、单处代码优化完整流程

  1. 采集日志:AI 智能体跑任务,记录失败案例、执行轨迹;
  2. 定位缺陷:优化模型从日志找到 Harness 里有问题的模块;
  3. 单点修改:只改动选定模块内的代码,不改动其他模块;
  4. 自动验证:在测试集上跑一遍,核对成功率、Token 消耗;
  5. 筛选留存:验证通过就保留这次代码改动,效果变差直接丢弃;
  6. 迭代循环:持续重复,逐步积累有效的 Harness 改进点。

四、技术关键点

  • Harness 不是大模型本身,是包裹模型、让它变成可执行智能体的运行外壳;
  • 全程不微调、不训练 Gemini 底层权重,只改外围调度框架;
  • 模块化限制单次改动范围,避免一次性大改带来不可控风险。

【相关 FAQ】

问题 1:谷歌 AI 智能体优化 Harness 方案,任务成功率提升多少倍?

回答 1:谷歌 AI 智能体优化 Harness 框架的 Self-Harness 方案,在 SWE-bench Lite 测试中任务成功率从 5% 提升到 40%,相比原来提升 8 倍。

问题 2:谷歌这个 Harness 是什么,和大模型本身有什么区别?

回答 2:Harness 是包裹在大模型外面的运行调度框架,用来管理上下文、工具调用、任务校验,谷歌 AI 智能体优化 Harness 只改这套外壳代码,不改动底层 Gemini 模型权重。

问题 3:谷歌 AI 智能体优化 Harness 为什么限制每次只改一处代码?

回答 3:谷歌 AI 智能体优化 Harness 限制每次只改一处代码,是为了控制改动风险、降低 Token 消耗,对比直接全盘重写 Harness,在效果接近的情况下大幅节省算力成本。

问题 4:给 AI 智能体调提示词和优化 Harness 代码,哪个效果更好?

回答 4:在谷歌本次实验条件下,只调整提示词的方式反而让任务成功率下滑到 2.5%,AI 智能体优化 Harness 代码的方案拿到了 40% 的成功率,效果差距很大。

【参考资料】

[2026-11-20](只改一处代码,谷歌 AI 智能体优化 Harness 后任务成功率提升 8 倍)IT 之家

[2026-11-20](谷歌最新研究:AI 智能体只改一处代码,任务成功率暴涨 8 倍)科创板日报

[2026-11-20](Better to Change Code Than Prompts: Google Lets AI Modify Its Own Runtime Framework)AIbase

[2026-11-17](Harnesses That Improve Themselves)arXiv

【免责声明】

本文信息整理自谷歌公开论文与科技媒体报道,谷歌 AI 智能体优化 Harness 的效果只在 SWE-bench Lite 编程基准上验证,跨场景、其他模型上效果不一定复刻;内容仅作为 AI 智能体技术科普资讯,不构成项目开发、算力采购决策依据。

今日大家都在搜的词: