您的位置首页 >人工智能 >

NeurIPS 2026 SKILLMASTER 框架出炉,支持 Agent 自主创建、更新、复用技能

清华团队在 NeurIPS 2026 上发表 SKILLMASTER,这是一套面向大模型 Agent 的强化学习训练框架,解决了老方案里技能只能靠外部模块、人工规则或者老师模型维护的痛点,Agent 做完任务之后,能根据自己的交互轨迹自主判断要不要新建技能、修改已有技能或者保留现有技能,技能管理和任务执行放在同一个策略里联合训练。传统 Agent 的技能库是外挂资源,Agent 只会调用,不会自己迭代优化;SKILLMASTER 的核心思路是用下游效用作为奖励信号,判断一次技能改动有没有价值,好的技能改动要么让之前失败的同类任务更容易做成功,要么让已经能完成的任务减少操作步数,同时搭配 DualAdv-GRPO 算法分开归一化两类动作优势,避免任务执行和技能编辑两个目标互相干扰、训练不稳。团队在 ALFWorld、WebShop 环境做测试,对比之前的 SOTA 基线,成功率分别提升 8.8%、9.3%,Agent 可以自主识别技能失效点、从交互轨迹提炼流程知识,并且把优化后的技能迁移到后续新任务。

SKILLMASTER 三大核心设计清单

  1. 轨迹驱动技能复盘:每一轮任务结束,Agent 回看完整交互轨迹,自主选择 propose_skill 新建、update_skill 更新、keep_skill 保留技能
  2. 下游效用奖励:用反事实探测任务评估技能改动效果,只看改动之后对后续任务的真实收益,不靠单一任务成败来打分
  3. DualAdv-GRPO 优化器:分开计算任务动作、技能编辑动作的优势值,实现两个目标稳定联合训练

实验环境与效果清单

  • 测试环境:ALFWorld(居家交互)、WebShop(网页购物)、SearchQA 检索问答
  • ALFWorld:相比基线提升 8.8% 成功率
  • WebShop:相比基线提升 9.3% 成功率
  • 能力变化:Agent 自主识别技能 bug、精简流程、沉淀可复用操作库

SKILLMASTER 和传统 Agent 技能方案对比表

方案技能维护主体能不能自主更新技能训练目标
SKILLMASTERAgent 自身策略✅可以自主创建 / 更新 / 保留任务执行 + 技能进化联合优化
传统外挂技能库外部模块、人工规则、教师模型❌Agent 只负责调用只优化任务执行效果

适用场景清单

  1. 网页 Agent、电商自动下单、信息检索任务
  2. 家庭环境交互、机器人操作任务
  3. 长期持续自主迭代的多步骤 Agent 智能体
  4. 需要不断沉淀可复用操作流程的自动化 Agent

【常见问题】

问题 1:NeurIPS 2026 的 SKILLMASTER 框架,怎么实现 Agent 自主创建、更新与使用 Skill?

回答 1:NeurIPS 2026 的 SKILLMASTER 框架基于轨迹复盘机制,Agent 完成任务后回看交互记录,自主选择新建、更新或者保留技能,搭配下游效用奖励和 DualAdv-GRPO,把技能管理和任务执行放到同一个策略里训练。

问题 2:NeurIPS 2026 SKILLMASTER 和普通 Agent 技能方案最大差别是什么?

回答 2:NeurIPS 2026 SKILLMASTER 的 Agent 自己管理技能库,能够自主创建、更新与使用 Skill;传统方案技能库由外部模块、人工规则维护,Agent 只会调用技能,没办法自主迭代优化。

问题 3:NeurIPS 2026 SKILLMASTER 是用什么信号判断技能改动好不好?

回答 3:NeurIPS 2026 SKILLMASTER 靠下游效用奖励判断技能改动价值,看改动之后,同类任务成功率有没有提升、完成步骤有没有减少,以此评估 Agent 自主创建、更新与使用 Skill 的效果。

问题 4:NeurIPS 2026 SKILLMASTER 在哪些环境做了实验,提升幅度怎么样?

回答 4:NeurIPS 2026 SKILLMASTER 在 ALFWorld、WebShop、SearchQA 环境验证,ALFWorld 成功率提升 8.8%,WebShop 提升 9.3%,证明 Agent 自主创建、更新与使用 Skill 的有效性。

问题 5:NeurIPS 2026 SKILLMASTER 的 DualAdv-GRPO 作用是什么?

回答 5:NeurIPS 2026 SKILLMASTER 的 DualAdv-GRPO,分开归一化任务动作和技能编辑动作的优势值,防止两个优化目标互相干扰,让 Agent 自主创建、更新与使用 Skill 的训练过程更稳定。

【参考资料】

[2026-11-16](NeurIPS 2026|不再依赖外挂:清华把「自我进化技能」训进 Agent 大脑)新浪财经

[2026-11-16](SkillMaster: Toward Autonomous Skill Mastery in LLM Agents)PicX AI

[2026-05-12](SKILLMASTER:Toward Autonomous Skill Mastery in LLM Agents)arXiv 预印本

[2026-11-17](NeurIPS 2026 录用论文 SKILLMASTER 解读)机器之心

【免责声明】

本文仅整理 NeurIPS 2026 SKILLMASTER 论文公开实验与框架信息,该框架属于学术研究成果,还未商用落地;不同模型、环境下 Agent 自主创建、更新与使用 Skill 的表现存在差异,内容仅作为 AI Agent 技术科普,不构成项目选型、开发落地建议。

今日大家都在搜的词: