香港大学团队在 NeurIPS 2026 上发表论文,指出现在大模型推理训练主流算法 GRPO 自带隐式优势对称性,形成双重枷锁,这就是很多模型经过 GRPO 强化学习之后,Pass@1 准确率变高,但是探索能力下降、越训越不敢尝试新解法的核心原因。简单来讲,GRPO 擅长把模型已经会的解题路径练熟、提高单次答对概率,但是很难让模型拓展原本能力边界之外的新方案,采样量大的时候甚至表现不如基础模型;同时奖励机制不会区分题目难度,对简单题、超难题、中等题用一样的更新规则,训练资源浪费、效率偏低。这套理论把两个独立的缺陷归到同一个底层根源,并且给出改进算法 A-GRAE,不用额外增加算力开销,同时保住高命中率和探索多样性,代码已经开源,对 DeepSeek-R1 这类依靠 GRPO 做推理对齐的模型优化有参考价值。很多从业者之前只看到 GRPO 训练之后做题变稳,忽略模型收敛之后思路变单一、发散思考能力被压制的副作用。
GRPO 双重枷锁详细说明
- 枷锁一:探索能力受限,没法拓宽能力边界
- 枷锁二:难度感知缺失,训练没有因材施教
GRPO 分组相对优势估计存在对称权重,正确轨迹和错误轨迹的更新权重是对称的,模型只会强化已经采样到的正确路径,对从来没试过的新颖解法不会给出正向激励。训练之后模型更保守,优先走最稳妥的老思路,也就是大家说的 “不敢想”;在 Pass@256 这种高采样测试下,部分数据集上成绩反而弱于底座模型。
算法不会自动区分样本难度,同等对待简单题、中等题、高难度题,天然偏向中等难度样本。简单题学太快浪费算力,超难题又很难学到有效信号,训练曲线收敛慢,很难循序渐进提升高阶推理能力。
GRPO 原版与改进 A-GRAE 对比表
| 对比项 | 原版 GRPO | 港大 A-GRAE 改进方案 |
|---|---|---|
| 更新规则 | 正确、错误轨迹优势权重对称 | 非对称下调正确轨迹优势,鼓励探索 |
| 难度策略 | 无难度感知,样本平等训练 | 课程式学习,先易后难动态分配训练权重 |
| Pass@1 | 高,单次正确率强 | 维持甚至进一步提升单次正确率 |
| Pass@k 探索能力 | 随采样提升反而下滑 | 稳定提升,保留多样解题路径 |
| 算力开销 | 基准开销 | 不增加额外计算成本 |
| 底层根源 | 隐式优势对称性 | 打破对称约束,动态调节更新信号 |
研究落地实操参考方向
- 评估推理模型不能只看 Pass@1,一定要搭配 Pass@k 指标,判断模型是否还保有探索能力。
- 做 GRPO 训练时,可以引入难度标签,采用课程学习顺序喂样本,优先简单样本,逐步过渡难题。
- 如果想要兼顾稳定性和发散思路,可以尝试 A-GRAE 的非对称优势加权,避免模型过早收敛、思路固化。
- 对于数学、代码这类复杂推理场景,原版 GRPO 适合优先提升单次答题命中率,但是要接受探索能力缩水的代价。
整体来看,GRPO 不是一个完美无缺的推理强化算法,双重枷锁来自算法底层的对称设计,不是调调学习率、温度参数就能彻底解决。港大这项研究找到了统一的理论解释,A-GRAE 提供了轻量化优化路线,后续做推理模型 RLVR 后训练的时候,可以在稳定输出和创新思路之间找到更好的平衡点。
【常见问题】
问题 1:港大 NeurIPS 2026 提出 GRPO 双重枷锁,为什么会导致模型越训越不敢想?
回答 1:GRPO 双重枷锁里第一条就是探索约束,隐式优势对称机制只强化已经找到的正确路径,不会激励模型去探索全新解法,长期训练之后模型策略收敛,倾向保守方案,表现就是越训越不敢想新思路。
问题 2:GRPO 双重枷锁里的难度不敏感问题,会给大模型训练带来哪些负面影响?
回答 2:GRPO 双重枷锁中的难度不敏感,让算法同等对待不同难度题目,资源集中在中等难度样本,简单题收益低、超难题很难学到信号,拉长训练周期,高阶推理提升缓慢。
问题 3:港大针对 GRPO 双重枷锁提出的 A-GRAE,会不会大幅增加训练算力成本?
回答 3:不会,A-GRAE 针对 GRPO 双重枷锁做的改进是修改优势权重逻辑,不需要新增模型、新增采样分支,在不增加额外计算开销的前提下,同时优化准确率和探索能力。
问题 4:使用 GRPO 训练出来的推理模型,Pass@1 很高但 Pass@k 变差,是不是就是 GRPO 双重枷锁的典型表现?
回答 4:是的,这正是 GRPO 双重枷锁最典型现象,模型单次答对概率提升,但新解法探索被抑制,加大采样次数之后,很难挖掘出更多不一样的正确答案,Pass@k 指标下滑。
【参考资料】
[2026-11-18](你的模型越训越「不敢想」:港大 NeurIPS 2026 揭露 GRPO 隐藏的双重枷锁)新浪财经
[2026-11-18](Unveiling Implicit Advantage Symmetry: Why GRPO Struggles with Exploration and Difficulty Adaptation)arXiv
[2026-11-18](NeurIPS 2026:港大解析 GRPO 推理训练两大瓶颈)机器之心
[2026-11-17](RLVR 与 GRPO 推理对齐范式的局限与优化方向)量子位
【免责声明】
以上资讯基于 NeurIPS 2026 录用论文、arXiv 预印本和科技媒体公开解读整理;GRPO 双重枷锁是该研究提出的理论视角,在不同基座模型、不同数据集上表现会存在差异,A-GRAE 效果以实测为准;本文仅作为 AI 算法科普,不构成模型训练、商用落地的工程实施建议。
