先说结论: 围绕 “让 LLM 在推理中不断进化” 这条线,NeurIPS 2026 收录的一批工作把问题拆成了四个可落地的环节:自己出题、自己求解、自己复盘、把经验沉淀成可复用的技能或记忆。传统自我改进依赖人工标注数据、教师模型或标准答案验证,一旦进入开放式、答案不可完全核验的推理场景,这套方式就会卡壳;2026 年这批论文的共同思路,是让模型在多角色循环里持续产生新任务、新反馈和新经验,再通过参数更新或上下文复用把这些经验内化。技术上主要分成四条路径:零数据自博弈与协同进化、测试时课程合成与测试时训练、对抗式自博弈打磨推理韧性、技能与记忆载体的自我演化。需要说明的是,NeurIPS 2026 会议于 2026 年 12 月举行,文中论文以录用论文和公开预印本为准;多数结果来自论文内部实验,自进化在开放式场景中的长期稳定性、奖励黑客和模式崩塌风险仍待更大规模验证。
一、先理清:“推理中不断进化” 到底指什么
1. 进化发生的两个层面
| 层面 | 含义 | 典型载体 | 改进是否改参数 |
|---|---|---|---|
| 参数层进化 | 把多轮试错得到的有效行为通过训练写回模型权重 | 自博弈 RL、协同演化训练、DPO/GRPO 优化 | 是 |
| 上下文层进化 | 不改参数,把历史经验整理成摘要、技能、记忆,在后续推理中检索复用 | 技能库、记忆库、轨迹摘要、经验反馈 | 否 |
2. 进化循环的最小闭环
- 出题 / 设局: 模型或同伴角色生成当前能力边缘的问题、干扰条件或待改进任务。
- 求解 / 执行: 同一模型或求解角色给出推理链和答案。
- 评判 / 复盘: 用验证器、规则引擎、内在奖励或对照实验判断哪一步有效、哪一步走偏。
- 沉淀 / 更新: 有效经验写入技能、记忆或训练数据;失败案例进入下一轮出题视野。
- 再循环: 课程难度随能力提升自动上移,形成持续迭代。
二、路径一:零数据自博弈与协同进化
1. 代表工作:G-Zero(NeurIPS 2026 Spotlight)
- 论文: G-Zero: Self-Play for Open-Ended Generation from Zero Data,NeurIPS 2026 Spotlight(top 1.3%),并获 NeurIPS TTCL Workshop 最佳论文奖。
- 要解决的问题: 自进化 LLM 在数学、代码等可验证领域表现好;开放式任务里若靠另一个 LLM 当裁判,会被裁判能力上限卡住,还容易出现奖励黑客。
- 核心机制:
- 两个角色协同:Proposer 生成有挑战性的问题和提示线索(hint);Generator 在有提示和无提示两种条件下分别作答。
- Hint-δ 内在奖励: 量化 “加了自生成提示后,回答发生了多大预测分布偏移”,作为模型内部信号,不依赖外部标准答案或裁判模型。
- Proposer 用 GRPO 持续瞄准 Generator 的盲区;Generator 用 DPO 把提示带来的改进内化。
- 论文结论: 监督信号全部来自模型内部分布动态,绕开外部裁判的能力天花板,为不可验证领域的持续自进化提供了一条可扩展路径;理论上对理想化 DPO 版本给出了 best-iterate 次优性保证。
2. 前作与同线脉络
| 工作 | 场合 | 思路要点 |
|---|---|---|
| R-Zero: Self-Evolving Reasoning LLM from Zero Data | ICLR 2026 | 从零数据出发的推理模型自进化,是 G-Zero 同团队前序工作 |
| Absolute Zero: Reinforced Self-play Reasoning with Zero Data | NeurIPS 2025 | 自生成任务三元组,经程序执行过滤语法、安全、确定性后进入自博弈缓冲池 |
| INFUSER: Influence-Guided Self-Evolution Improves Reasoning | arXiv 2026-06 | Generator 从非结构化文档出题,Solver 训练;出题质量用 “是否真的提升 Solver” 的影响分衡量,配 DuGRPO 双归一化训练生成器 |
| MedZERO | arXiv 2026-10 | 面向开放式医疗推理,Examiner 出题、Reasoner 借助外部知识工具多轮推理,区分临时探索知识与精选持久知识做受控知识积累 |
三、路径二:测试时课程合成与测试时训练
1. 代表工作:TTCS(NeurIPS 2026 Main Track)
- 论文: TTCS: Test-Time Curriculum Synthesis for Self-Evolving,厦门大学、圣路易斯华盛顿大学、中国人民大学等团队,NeurIPS 2026 Main Track。
- 要解决的问题: 测试时训练只靠测试题做模型适应,但难题伪标签质量低、测试数据有限,训练容易不稳定。
- 框架结构:
- 问题合成器与推理解答器从同一预训练模型初始化,迭代共同演化。
- 合成器根据测试问题动态生成与解答器当前能力匹配的问题变体,搭出能力自适应的测试时课程。
- 解答器用原始问题和合成问题的多次采样结果计算自一致性奖励并持续更新。
- 解答器反馈再反向指导合成器调整难度,形成双向促进。
- 公开结果: 在复杂数学推理任务上有效提升表现,并可迁移到通用领域任务和不同模型。
2. 这条路径的关键设计点
- 课程难度自适应: 题目始终贴着求解器当前能力边缘,避免过易无收益、过难全是伪标签。
- 自一致性做弱验证: 多次采样结果相互印证,在没有标准答案时充当临时质量信号。
- 噪声控制: 伪标签过滤、数据筛选是自进化不崩的前提;G-Zero 理论保证中也把 “伪标签分数噪声低” 列为条件之一。
四、路径三:对抗式自博弈打磨推理韧性
1. Seirênes:用演化干扰训练更稳的推理器
- 论文: Seirênes: Adversarial Self-Play with Evolving Distractions for LLM Reasoning,2026-05/08 arXiv。
- 思路: 单一参数共享策略分饰两角 ——Adversary 生成看似合理、实则带偏的干扰上下文;Reasoner 在被扰动的上下文里识别本质任务、恢复核心逻辑。
- 训练信号: 对抗方以带偏推理轨迹为奖励,推理方被训练锚定正确推演;随模型变强,干扰自动升级,维持有信息量的协同课程。
- 公开结果: 七个数学推理基准、4B 到 30B 规模上分别平均 +10.2、+9.1、+7.2 个点;只改输入上下文,底层任务、验证器和测试接口不变,产出的是更强的独立推理器。
2. 同线对抗与校验工作
| 工作 | 场合 / 时间 | 机制要点 |
|---|---|---|
| SPC: Evolving Self-Play Critic via Adversarial Games for LLM Reasoning | NeurIPS 2025 | 一个 “狡猾生成器” 故意制造难察觉的错误步骤,一个评判模型识别错误,对抗博弈中迭代提升过程级评判能力;ProcessBench 准确率 70.8%→77.7% |
| CoEvo: Oracle-Grounded Self-Evolution of a Single Model | arXiv 2026-08 | 单模型交替担任 Proposer 和 Solver;利用 “生成正确链难、验证单步易” 的不对称性,借确定性 oracle(规则引擎 / 物理模拟器)校验步骤,避免只看结果奖励导致的走捷径 |
| Selective Critique (SAG) | arXiv 2026-10 | 把是否调用批评意见做成逐步决策,用动作级歧义信号估计批评的信息价值,只在值得时花反馈成本;再通过在线自举把批评辅助行为内化,逐步降低对外部批评的依赖 |
3. 对抗路径要防的两类失效
- 结果奖励被钻空子: 只看最终答案,模型可能靠分布捷径蒙对;需要过程级校验或 oracle 分步检查。
- 弱自评强化错误路径: 自我评估能力不足时,虚假推理链会被巩固成稳定失败模式;需要外部确定性信号或多轮一致性兜底。
五、路径四:技能与记忆载体的自我演化
1. SkillMaster:把 “进化技能” 本身训进 Agent 策略
- 论文: SKILLMASTER: Toward Autonomous Skill Mastery in LLM Agents,清华大学李勇教授团队等,NeurIPS 2026 录用;一作杨敏(北京中关村学院博士生),arXiv:2605.08693。
- 现有做法的不足: 技能创建与更新依赖外部教师模型、预设规则或外挂模块;Agent 学会了用技能,却没被训练去改进技能。
- 核心洞察: 一次有价值的技能改进,应当让原来失败的相似任务后续更容易成功,让原来成功的任务用更少步骤完成。
- 方法三件套:
- 基于轨迹的技能审视: 把任务目标、已检索技能、行动观察轨迹、最终反馈交给模型,通过 propose_skill /update_skill/keep_skill 三类工具调用完成创建、更新、保留。
- 反事实技能效用奖励: 选一组相关探测任务,分别用原始技能库和临时修改后的技能库跑,比较失败转成功、成功减步数的下游变化;效用为正的修改才写入持久技能库。
- DualAdv-GRPO: 任务执行与技能管理两类奖励尺度不同,分别算优势再更新同一策略。
- 公开结果: 基于 Qwen2.5-7B-Instruct,在 ALFWorld、WebShop、SearchQA 上取得对比方法最佳;ALFWorld 成功率 98.7%、WebShop 82.0%,较 SkillRL 分别提升 8.8 和 9.3 个百分点;训练后期保留技能比例从约 81.25% 升至 97.66%。
2. MemSkill:记忆操作变成可学习、可演进的技能
- 论文: MemSkill: Learning and Evolving Memory Skills for Self-Evolving Agents,南洋理工大学、UIUC、UIC、清华等团队,NeurIPS 2026 发表;arXiv:2602.02474。
- 现有不足: 记忆系统依赖新增、更新、删除、跳过等预设操作,人工先验被硬编码,面对多样交互模式僵化、长历史效率低。
- 机制:
- 记忆操作被重构为可学习、可复用、可演进的记忆技能:从交互轨迹中提取、整合、修剪信息的结构化流程。
- 控制器学习选择少量相关技能,LLM 执行器生成受技能指导的记忆;设计器定期复盘产生错误或不完整记忆的困难案例,提出改进方案和新技能。
- 技能选择策略与技能库本身在同一闭环里持续改进。
- 公开结果: 在 LoCoMo、LongMemEval、HotpotQA、ALFWorld 上优于强基线,并具备跨设置泛化能力。
3. 经验复用的其他思路
- REFLEX(2026-06): 无训练框架,视觉 Critic 把行为证据转成结构化诊断,诊断从持久技能记忆中检索可执行代码片段,Actor 写出子代程序;父子代适应度变化回写每个片段的效用,每一步都在同一条轨迹里留痕。
- 轨迹摘要式测试时扩展: 把每次 rollout 压成保留关键假设、进展和失败模式的结构化摘要,并行侧用递归锦标赛投票收敛,串行侧让新 rollout 基于既往摘要蒸馏出的信息继续改进;长程 Agent 的测试时扩展被归结为表征、选择与复用问题。
- 内化自生成反馈(RLTL;DR): 失败后让策略基于验证器输出写一条 TL;DR 式洞察,下一轮 rollout 以前序洞察为条件,并通过反向传播把 “任务→洞察” 映射内化。
六、横向对比:四条路径怎么选
| 路径 | 进化载体 | 主要奖励 / 信号来源 | 适合的推理场景 | 主要风险 |
|---|---|---|---|---|
| 零数据自博弈 / 协同进化 | 参数(Proposer、Generator 协同训练) | 内在奖励(Hint-δ)、自博弈结果 | 开放式、无标准答案的生成与推理 | 内部信号偏差、课程坍塌 |
| 测试时课程合成 / 测试时训练 | 参数 + 测试题适配 | 自一致性、合成问题反馈 | 数学推理、可部分核验的通用任务 | 难题伪标签噪声、数据量不足 |
| 对抗式自博弈 | 参数(推理器 / 评判器 / 干扰方) | 对抗胜负、oracle 分步校验 | 鲁棒推理、过程级错误识别 | 对抗方过强导致训练失衡 |
| 技能 / 记忆自我演化 | 技能库、记忆库(可叠加参数更新) | 下游效用对照、失败案例复盘 | 长程交互 Agent、搜索增强问答 | 技能膨胀、探测成本高、跨环境迁移 |
七、落地时需要补齐的工程环节
- 任务生成与过滤: 自生成题目必须过语法、安全、确定性、语义有效性校验,无效样本不进训练缓冲池。
- 奖励可信度分级: 可执行验证 > 规则 /oracle 分步校验 > 多轮自一致性 > 内在分布信号;信号越弱,越要配合过滤和人工抽检。
- 经验沉淀分层: 临时探索知识与精选持久知识分开管理,避免一次性失败经验污染长期记忆。
- 成本控制: 批评、复盘、探测对照都有 token 成本;可选择性调用,并通过在线自举逐步减少对外部反馈的依赖。
- 长期跟踪指标: 除任务成功率外,还要看技能库规模变化、保留 / 修订比例、步骤数变化、跨分布泛化和奖励黑客迹象。
八、整体来看
NeurIPS 2026 这批工作对 “LLM 在推理中不断进化” 给出的答案,不是单一模型突然变聪明,而是把进化拆成出题、求解、评判、沉淀四个可循环的模块:自博弈负责自动制造能力边缘的题目,测试时课程负责把题目难度贴齐当前水平,对抗校验负责把推理从表面模式匹配拉回到真正的步骤正确,技能与记忆负责把一次任务的收获变成后续可复用的资产。短期内可落地的方向,是在数学、代码、工具调用等已有验证器的场景先跑通闭环;开放式推理的长期自进化,仍要解决内在信号可信度、经验记忆治理和跨环境持续学习这几个硬问题。
【相关 FAQ】
问题 1:NeurIPS 2026 上让 LLM 在推理中不断进化,核心思路是什么?
回答 1:核心思路是把进化拆成 “出题 — 求解 — 评判 — 沉淀” 的闭环:模型自己或协同角色生成能力边缘的问题,求解后通过验证器、内在奖励或对照实验复盘,再把有效经验写回参数或技能、记忆库,循环推动 LLM 推理能力持续迭代;NeurIPS 2026 收录的 G-Zero、TTCS、SkillMaster、MemSkill 等工作分别对应自博弈、测试时课程、技能进化和记忆进化路径。
问题 2:没有标准答案的开放式推理场景,NeurIPS 2026 的 LLM 自进化工作靠什么做奖励?
回答 2:以 G-Zero 为代表,这类工作绕开外部裁判模型,用 Hint-δ 内在奖励衡量模型在有自生成提示和无提示两种回答间的预测分布偏移;TTCS 用多次采样的自一致性做弱验证;CoEvo 借助确定性 oracle 做分步校验;SkillMaster 用反事实探测任务的下游效用变化作为技能改进奖励。信号可信度从可执行验证到内在分布信号逐级递减,都需要配合过滤机制防奖励黑客。
问题 3:自博弈为什么是 LLM 推理进化的常用结构,NeurIPS 2026 相关工作怎么设计角色?
回答 3:自博弈让同一模型或两个副本在对抗中互相制造盲区和挑战,课程难度随能力自动上移。G-Zero 设 Proposer 出题给线索、Generator 作答;Seirênes 让 Adversary 生成干扰上下文、Reasoner 还原本质任务;SPC 用狡猾生成器制造难察错误、Critic 识别错误;CoEvo 让单模型交替担任 Proposer 和 Solver,再由 oracle 校验每一步。
问题 4:SkillMaster 和 MemSkill 在 NeurIPS 2026 中解决的是 LLM 推理进化的哪一层问题?
回答 4:两者都解决经验沉淀层的问题。SkillMaster 把技能的创建、更新、保留纳入智能体自身策略,用下游效用奖励判断技能改进是否值得写入持久技能库,让 Agent 在任务执行之外学会改进技能;MemSkill 把记忆提取、整合、修剪重构为可学习、可演进的记忆技能,通过设计器复盘失败案例持续修订技能集,让记忆系统随交互经验进化。
问题 5:目前 NeurIPS 2026 这些 LLM 推理自进化方法还有哪些局限?
回答 5:一是多数结果来自论文内部实验,长期稳定性和跨规模泛化还需更大规模验证;二是开放式场景存在伪标签噪声、内在信号偏差和奖励黑客风险;三是技能库、记忆库可能膨胀,探测对照和批评反馈的 token 成本较高;四是当前验证主要集中在结构化交互环境、数学推理和搜索问答,面向开放真实环境的持续学习仍需更低成本的效用评估和跨 Agent 经验共享机制。
【参考资料】
- [2026-11-16](NeurIPS 2026|不再依赖外挂:清华把「自我进化技能」训进 Agent 大脑)新浪财经(机器之心 Pro)
- [2026-11-06](MemSkill: Learning and Evolving Memory Skills for Self-Evolving Agents)alphaXiv
- [2026-11-02](NeurIPS 2026|MemSkill 让智能体学习并进化记忆技能)新浪财经(机器之心 Pro)
- [2026-10-12](Selective Critique for Cost-Aware LLM Agents in Long-Horizon Decision Making)DAIR.AI Academy
- [2026-10-06](MedZERO: Self-Evolving Agents for Open-Ended Medical Reasoning Through Controlled Knowledge Accumulation)arXiv
- [2026-09-28](我中心 2 篇论文被 NeurIPS 2026 录用)厦门大学数字媒体计算中心
- [2026-08-24](Seirênes: Adversarial Self-Play with Evolving Distractions for LLM Reasoning)arXiv
- [2026-08-18](CoEvo: Oracle-Grounded Self-Evolution of a Single Model for Multi-Step Causal Reasoning)arXiv
- [2026-06-15](REFLEX: Reflective Evolution from LLM Experience)arXiv
- [2026-06-08](INFUSER: Influence-Guided Self-Evolution Improves Reasoning)arXiv
- [2026-05-12](塞壬:带演化干扰的对抗式自博弈,用于大语言模型推理)alphaXiv
- [2026-05-11](G-Zero: Self-Play for Open-Ended Generation from Zero Data)arXiv
- [2025-11-26](Absolute Zero: Reinforced Self-play Reasoning with Zero Data)NeurIPS Poster
- [2025](SPC: Evolving Self-Play Critic via Adversarial Games for LLM Reasoning)NeurIPS Proceedings
【免责声明】
本文依据 NeurIPS 2026 公开录用信息、arXiv 预印本及公开技术报道整理,所涉模型规模、基准得分、录用类型(Spotlight/Main Track/Workshop 奖项)均来自论文或作者公开页面;会议最终日程、论文版本和评审结论以 NeurIPS 官方发布为准。文中技术梳理仅用于学术与行业交流,不构成任何产品选型、投资或工程落地建议,复现实验请以论文原始代码和数据为准。
