您的位置首页 >人工智能 >

8B 连续扩散模型数学推理登顶,MATH 62.12 分超越离散扩散|北邮 × 智源 × 北大开源

北邮、智源研究院、北大联合推出的 8B 参数量连续扩散语言模型,在 MATH 数据集拿到 62.12 分,在同参数规模下,第一次在数学推理任务上反超主流离散扩散模型,项目已经开源。过去很长一段时间里,连续扩散语言模型虽然理论上表达能力更强,但训练难度高、解码落地难,实际数学推理效果一直弱于离散扩散,这次团队解决了连续扩散 latent 空间训练、潜变量解码、推理路径优化的痛点,在数学推理基准上完成反超,同时保留了连续扩散天生支持平滑轨迹、少步蒸馏、并行自修正的优势,给扩散大模型的推理路线提供了新方向。

连续扩散 vs 离散扩散基础概念

  • 连续扩散模型:在 Embedding 连续隐空间做加噪、去噪,走平滑的向量轨迹,不是直接在 token 空间操作,理论上更适合多步推理、逐步修正思路
  • 离散扩散模型:直接在离散 token 空间做掩码、加噪,也就是大家常看到的 LLaDA 这类方案,训练稳定、上手简单,是目前扩散语言模型的主流路线
  • 传统认知:连续扩散理论上限高,但难训练、容易掉点,离散扩散工程友好、推理成绩更好,本次成果打破这个固有结论

核心实验数据

项目指标详情
模型规模8B 参数连续扩散语言模型
核心基准MATH 数据集,得分 62.12
对比基线同尺寸离散扩散模型(掩码离散扩散)
对比结论在 MATH 数学推理上实现反超
附加能力支持少步蒸馏、Embedding 空间引导、pass@k 随采样次数持续提升
项目状态论文 + 权重 + 代码开源

这次突破的关键技术点

  1. 优化连续隐空间的训练目标:解决之前连续扩散中间状态监督不足、分布偏移的问题,让模型在推理路径上每一步都学到有效的数学逻辑,而不是只拟合最终答案。
  2. 潜变量到 token 的稳定解码方案:之前连续扩散最大短板就是从连续向量转回离散 token 容易出错,这套方案降低了解码崩溃概率。
  3. 数学推理专用的采样引导策略:利用连续空间平滑特性,在去噪过程里逐步校验推导步骤,支持中间步骤自修正,适合多步数学题。
  4. 适配蒸馏加速:可以做少步蒸馏,在数学任务上最高能做到 8 倍加速,精度损失很小,兼顾推理质量和速度。

连续扩散模型的优势

  1. 推理轨迹平滑:可以逐步调整思路,不像离散掩码扩散是整块 token 修改,数学多步推导的时候纠错更自然。
  2. 支持隐空间控制:可以在 Embedding 层面做引导,调节答案的正确性和多样性。
  3. 并行生成 + 自修正:天然支持任意顺序生成,遇到错误可以局部迭代优化,不用像自回归模型从头重写。
  4. 蒸馏潜力强:适合低步数采样,有机会做到比离散扩散更快的推理吞吐。

当前方案的局限

  1. 通用文本、代码等其他任务的综合表现还没有全面超过离散扩散基线,优势集中体现在数学推理场景。
  2. 训练门槛依旧偏高,对算力、调参经验要求高于成熟的离散扩散框架。
  3. 生态工具链不完善,部署、推理框架不如 LLaDA 这类离散扩散成熟。
  4. 只在 8B 规模验证,更大参数量模型的缩放效果还需要后续实验验证。

适合的研究方向

✅ 数学推理、奥林匹克数学、多步逻辑推导

✅ 对自修正、逐步推理有要求的科研场景

✅ 想要研究扩散模型蒸馏、低步数快速推理的开发者

❌ 不适合直接拿来做通用对话、生产级线上业务

【常见问题】

问题 1:这款 8B 连续扩散模型在 MATH 拿到 62.12 分,意味着什么?

回答 1:这款 8B 连续扩散模型在 MATH 拿到 62.12 分,代表它在同参数规模下,数学推理能力反超离散扩散模型,打破了过去连续扩散实际推理弱于离散扩散的行业认知,是连续扩散语言模型在数学赛道的标志性结果。

问题 2:8B 连续扩散模型和离散扩散模型在数学推理上的核心差别在哪?

回答 2:8B 连续扩散模型在连续 Embedding 隐空间做平滑去噪、逐步修正推导步骤;离散扩散直接在 token 空间掩码生成,修改是整块跳跃式的,连续扩散更适配数学多步推导、分步纠错的逻辑。

问题 3:北邮、智源、北大开源的这个 8B 连续扩散模型,是不是所有任务都强于离散扩散?

回答 3:不是,这个 8B 连续扩散模型目前主要是数学推理(MATH)指标反超离散扩散,通用文本、代码等其他任务还没有全面领先离散扩散基线,优势集中在数学推理场景。

问题 4:连续扩散模型相比离散扩散,在推理速度上有没有优化空间?

回答 4:这款 8B 连续扩散模型支持少步蒸馏,在数学任务上可以实现最高 8 倍加速,精度损失很小,相比离散扩散,在低步数快速推理上具备潜力。

【参考资料】

[2026-11-19](8B 连续扩散模型在数学上反超了离散扩散!MATH 62.12 分居首|北邮 × 智源 × 北大开源)新智元

[2026-11-12](Large Language Continuous Diffusion Models)AlphaXiv

[2026-10-31](Diffusion Language Models 技术综述)AI Wiki

[2026-09-25](连续扩散语言模型推理优化研究)智源社区

【免责声明】

本文为学术论文与开源项目资讯整理,不构成工程选型、商用部署建议;该 8B 连续扩散模型仅在特定数学基准上取得优势,不同任务、采样步数、提示词都会影响最终得分,模型效果、开源资源以项目团队官方仓库和论文为准。

今日大家都在搜的词: