您的位置首页 >机器人 >

NeurIPS 2026 清华 SkillMaster把「自我进化技能」直接训进 Agent 大脑,不再外挂模块

我先联网核实这条信息的原始来源,再抓取相关内容。

已找到原文和对应的论文。我接着再抓取全文和论文页面,以补充细节数据。

我接着补充几条相关信源,便于按时间排序列出参考资料。

核实完毕,原文出自机器之心(2026-11-16),论文与 arXiv 页面均已对齐。以下是按你固定格式排好的内容。

这件事的核心可以一句话说清:清华李勇教授团队做了一个叫 SkillMaster 的训练框架,把 “技能该怎么改” 从外挂的教师模型、预设规则、辅助模块里拿出来,变成 Agent 策略本身能学的一种能力,论文已被 NeurIPS 2026 录用,第一作者是北京中关村学院博士生杨敏。它在 ALFWorld 上把任务成功率做到 98.7%,在 WebShop 上做到 82.0%,分别比此前最强的 SkillRL 高出 8.8 和 9.3 个百分点;搜索增强问答集 SearchQA 上总分 48.0%,也是对比方法里最高的。更关键的是,训练后的模型能自己在轨迹里发现 “这条技能不够用”,然后新建或修订技能,并让改动在后续相似任务上真的生效 —— 也就是说,技能库从 “Agent 要去检索的外部资源”,变成了 “Agent 自己长出来的一部分”。

以前的做法卡在哪

过去的技能管理基本是 “外挂式” 的:技能由外部教师模型生成,或者靠人手写的规则维护,再或者交给一个独立辅助模块去增删改。执行任务的 Agent 只学会了 “调用技能”,很少被直接训练 “改进技能”。这带来三个具体麻烦。

  • 能力归谁的问题:技能是外部资源,不是 Agent 自己的本事,模型本身没有 “我该改哪条技能” 的判断力。
  • 奖励太稀疏:只看任务最终成没成,分不清是 “执行时手抖了” 还是 “技能本身写得不对”,更没法给某一次技能编辑一个明确的好坏信号。
  • 两类目标打架:任务执行和技能管理是两套优化目标,硬塞进同一个策略会互相干扰,训练容易不稳。

SkillMaster 的切入点很朴素:一条技能改得好不好,看两个可观察的下游效果 —— 原来失败的相似任务变得更容易成功了,原来能成的任务用更少步骤就完成了。把这两件事变成学习信号,技能编辑就有了可训练的靶子。

三个组件怎么把技能变成 “可训练” 的

整套方法拆成三个环节,分别回答 “依据什么改、怎么评价值、怎么一起训”。

组件解决什么问题具体做法
基于轨迹的技能审视依据什么提出修改把任务目标、已检索技能、动作与观察轨迹、最终反馈一起喂给模型,模型通过 propose_skill、update_skill、keep_skill 三类工具调用,分别执行新建、修订、保留
反事实技能效用奖励如何评价修改的价值选一组相关探测任务(按任务类别、商品类别或语义相似度挑),分别用原技能库和临时改过的技能库各跑一遍,比较成功率和步数变化,算出效用分
DualAdv-GRPO如何联合优化两类决策任务执行和技能管理分别计算优势、分别归一化,再按权重合并进同一个 PPO 损失,用一个策略同时学 “把任务做完” 和 “把技能改好”

流程上分两步走:先用监督微调让模型具备基本的任务执行和工具调用能力,再用技能效用反馈做强化学习,专门优化 “建、改、留” 这三个决策。训练期间,只有效用奖励为正的修改才会真正写进持久技能库,避免把噪声沉淀成经验。

实验数字:不只是任务分高了,行为也变了

实验基座是 Qwen2.5-7B-Instruct,覆盖三个环境:ALFWorld(六类模拟家庭任务)、WebShop(多步商品搜索与购买)、SearchQA(七个单跳与多跳问答数据集)。

环境SkillMaster对比最强基线 SkillRL提升
ALFWorld98.7%89.9%+8.8 个百分点
WebShop82.0%72.7%+9.3 个百分点
SearchQA(总分)48.0%47.1%+0.9 个百分点

细看更有意思。ALFWorld 六类任务里有四类直接打到 100%,剩下两类也都在 95% 以上;SearchQA 七个数据集里有五个优于 SkillRL。消融实验显示,去掉技能效用奖励、把优势估计改成合并归一化、或者随机挑探测任务,成绩都会掉,说明这三处设计缺一不可。

行为层面的变化比分数更能说明问题:ALFWorld 训练过程中,早期创建和更新技能的动作很活跃,到后期 “保留技能” 的比例从约 81.25% 升到 97.66%,模型从 “不停补和改” 转向 “信任已经积累的东西”。作者还把训练后的参数冻住,只测它在测试阶段自己建技能的能力 ——WebShop 上从空技能库出发,同时开技能构建和检索,成功率从 65.63% 升到 71.88%。这意味着 “会改技能” 这件事本身被训进了策略,而不是靠外部模块临时帮忙。

案例也很直观。一个 ALFWorld 冷却任务里,Agent 把大量步数耗在低概率出现食物的柜子和抽屉上,最后没做完;复盘时它识别出 “现有技能缺搜索优先级规则”,于是新建一条技能,指导后续优先去高概率位置。另一个是修 bug 式的修订:旧技能要求先把物体放进微波炉再加热,但环境接口要求 “手持目标物体时” 才能加热,模型根据轨迹反馈改掉了这个前置条件,后续探测任务里加热环节从 8 步缩到 2 步,省掉六次多余操作。

这套东西现在能用到哪、还差什么

目前验证范围是结构化交互环境和搜索增强问答两类场景,属于 “把路走通” 的阶段,还没有铺到开放环境。作者自己列了几条后续方向:更有效的探测任务选择、成本更低的效用评估(现在每次改技能都要跑一组任务,开销不小),以及把能力扩展到技能删除、跨 Agent 共享、分布变化下的持续学习。

对做 Agent 的人来说,这篇论文真正的信号不是那 8.8 和 9.3 个百分点,而是它给出了一条可训练的路径:技能库不再是手写配置文件加检索器,而是策略的一部分,能随着交互自己变好。这也正好接上递归自我改进(RSI)那条线 ——Agent 在交互中发现知识缺口,通过编辑技能改变后续行为,再从实际效果里学会 “怎样编辑更值”。

【常见问题】

问题 1:清华的 SkillMaster 和以前的「自我进化技能」方案,本质差别在哪?

回答 1:差别在技能管理归谁。以前做「自我进化技能」,技能由外部教师模型、手写规则或辅助模块维护,Agent 只负责调用;清华 SkillMaster 把建、改、留三类操作变成同一个策略里的工具调用,和任务执行一起进强化学习,所以「自我进化技能」的能力是被训进 Agent 大脑的,而不是外挂在旁边。

问题 2:SkillMaster 把「自我进化技能」训进 Agent 大脑后,效果提升有多大?

回答 2:ALFWorld 任务成功率 98.7%、WebShop 82.0%,比 SkillRL 分别高 8.8 和 9.3 个百分点,六个 ALFWorld 子任务里四个到 100%;SearchQA 总分 48.0%,七个数据集里五个领先。这说明 Agent 大脑里的「自我进化技能」不是纸面概念,是有实测增益的。

问题 3:这套「自我进化技能」现在能直接接到我自己的 Agent 上吗?

回答 3:可以先跑通,别指望直接上生产。清华 SkillMaster 已在 GitHub 开源(sduyangmin/Skill-Master),论文给的三件套 —— 轨迹化技能审视、反事实效用奖励、DualAdv-GRPO—— 都可复现;但「自我进化技能」目前只在 ALFWorld、WebShop、SearchQA 这类环境验证过,探测任务的算力成本和开放环境泛化还没解决,Agent 大脑想稳定自进化,得先接受这套额外开销。

问题 4:NeurIPS 2026 收录 SkillMaster,对做 Agent 的团队意味着什么?

回答 4:意味着「自我进化技能」从工程技巧变成了可发表的训练问题。NeurIPS 2026 认可的是这条范式:Agent 大脑自己评价并修订技能库,而不是靠人写规则;对团队来说,下一步该投的是「怎么低成本评估一次技能编辑的价值」,而不是继续堆检索器和技能模板。

【参考资料】

  • [2026-11-16](NeurIPS 2026|不再依赖外挂:清华把「自我进化技能」训进 Agent 大脑)机器之心
  • [2026-11-16](文章库:NeurIPS 2026|不再依赖外挂:清华把「自我进化技能」训进 Agent 大脑)机器之心
  • [2026-09-30](SkillMaster: Toward Autonomous Skill Mastery in LLM Agents,arXiv v3)arXiv
  • [2026-05-12](SKILLMASTER: Toward Autonomous Skill Mastery in LLM Agents)arXiv
  • [2026-05-09](SkillMaster: Toward Autonomous Skill Mastery in LLM Agents,首次提交)arXiv
  • [2026-05-12](SkillMaster: Hacia el Dominio Autónomo de Habilidades en Agentes LLM)alphaXiv

【免责声明】

本文基于公开报道与 arXiv 论文整理,仅作技术信息解读,不构成任何投资、采购或技术选型建议。文中成功率、提升幅度等数据均引自论文与媒体报道原文,未做二次实验验证;论文方法与开源代码的可用性、复现成本请以官方仓库和论文正文为准。涉及第三方名称、商标仅用于指代说明。若相关内容存在更新或勘误,以原始来源为准。

今日大家都在搜的词: