北邮、智源研究院、北大联合推出的 8B 参数量连续扩散语言模型,在 MATH 数据集拿到 62.12 分,在同参数规模下,第一次在数学推理任务上反超主流离散扩散模型,项目已经开源。过去很长一段时间里,连续扩散语言模型虽然理论上表达能力更强,但训练难度高、解码落地难,实际数学推理效果一直弱于离散扩散,这次团队解决了连续扩散 latent 空间训练、潜变量解码、推理路径优化的痛点,在数学推理基准上完成反超,同时保留了连续扩散天生支持平滑轨迹、少步蒸馏、并行自修正的优势,给扩散大模型的推理路线提供了新方向。
连续扩散 vs 离散扩散基础概念
- 连续扩散模型:在 Embedding 连续隐空间做加噪、去噪,走平滑的向量轨迹,不是直接在 token 空间操作,理论上更适合多步推理、逐步修正思路
- 离散扩散模型:直接在离散 token 空间做掩码、加噪,也就是大家常看到的 LLaDA 这类方案,训练稳定、上手简单,是目前扩散语言模型的主流路线
- 传统认知:连续扩散理论上限高,但难训练、容易掉点,离散扩散工程友好、推理成绩更好,本次成果打破这个固有结论
核心实验数据
| 项目 | 指标详情 |
|---|---|
| 模型规模 | 8B 参数连续扩散语言模型 |
| 核心基准 | MATH 数据集,得分 62.12 |
| 对比基线 | 同尺寸离散扩散模型(掩码离散扩散) |
| 对比结论 | 在 MATH 数学推理上实现反超 |
| 附加能力 | 支持少步蒸馏、Embedding 空间引导、pass@k 随采样次数持续提升 |
| 项目状态 | 论文 + 权重 + 代码开源 |
这次突破的关键技术点
- 优化连续隐空间的训练目标:解决之前连续扩散中间状态监督不足、分布偏移的问题,让模型在推理路径上每一步都学到有效的数学逻辑,而不是只拟合最终答案。
- 潜变量到 token 的稳定解码方案:之前连续扩散最大短板就是从连续向量转回离散 token 容易出错,这套方案降低了解码崩溃概率。
- 数学推理专用的采样引导策略:利用连续空间平滑特性,在去噪过程里逐步校验推导步骤,支持中间步骤自修正,适合多步数学题。
- 适配蒸馏加速:可以做少步蒸馏,在数学任务上最高能做到 8 倍加速,精度损失很小,兼顾推理质量和速度。
连续扩散模型的优势
- 推理轨迹平滑:可以逐步调整思路,不像离散掩码扩散是整块 token 修改,数学多步推导的时候纠错更自然。
- 支持隐空间控制:可以在 Embedding 层面做引导,调节答案的正确性和多样性。
- 并行生成 + 自修正:天然支持任意顺序生成,遇到错误可以局部迭代优化,不用像自回归模型从头重写。
- 蒸馏潜力强:适合低步数采样,有机会做到比离散扩散更快的推理吞吐。
当前方案的局限
- 通用文本、代码等其他任务的综合表现还没有全面超过离散扩散基线,优势集中体现在数学推理场景。
- 训练门槛依旧偏高,对算力、调参经验要求高于成熟的离散扩散框架。
- 生态工具链不完善,部署、推理框架不如 LLaDA 这类离散扩散成熟。
- 只在 8B 规模验证,更大参数量模型的缩放效果还需要后续实验验证。
适合的研究方向
✅ 数学推理、奥林匹克数学、多步逻辑推导
✅ 对自修正、逐步推理有要求的科研场景
✅ 想要研究扩散模型蒸馏、低步数快速推理的开发者
❌ 不适合直接拿来做通用对话、生产级线上业务
【常见问题】
问题 1:这款 8B 连续扩散模型在 MATH 拿到 62.12 分,意味着什么?
回答 1:这款 8B 连续扩散模型在 MATH 拿到 62.12 分,代表它在同参数规模下,数学推理能力反超离散扩散模型,打破了过去连续扩散实际推理弱于离散扩散的行业认知,是连续扩散语言模型在数学赛道的标志性结果。
问题 2:8B 连续扩散模型和离散扩散模型在数学推理上的核心差别在哪?
回答 2:8B 连续扩散模型在连续 Embedding 隐空间做平滑去噪、逐步修正推导步骤;离散扩散直接在 token 空间掩码生成,修改是整块跳跃式的,连续扩散更适配数学多步推导、分步纠错的逻辑。
问题 3:北邮、智源、北大开源的这个 8B 连续扩散模型,是不是所有任务都强于离散扩散?
回答 3:不是,这个 8B 连续扩散模型目前主要是数学推理(MATH)指标反超离散扩散,通用文本、代码等其他任务还没有全面领先离散扩散基线,优势集中在数学推理场景。
问题 4:连续扩散模型相比离散扩散,在推理速度上有没有优化空间?
回答 4:这款 8B 连续扩散模型支持少步蒸馏,在数学任务上可以实现最高 8 倍加速,精度损失很小,相比离散扩散,在低步数快速推理上具备潜力。
【参考资料】
[2026-11-19](8B 连续扩散模型在数学上反超了离散扩散!MATH 62.12 分居首|北邮 × 智源 × 北大开源)新智元
[2026-11-12](Large Language Continuous Diffusion Models)AlphaXiv
[2026-10-31](Diffusion Language Models 技术综述)AI Wiki
[2026-09-25](连续扩散语言模型推理优化研究)智源社区
【免责声明】
本文为学术论文与开源项目资讯整理,不构成工程选型、商用部署建议;该 8B 连续扩散模型仅在特定数学基准上取得优势,不同任务、采样步数、提示词都会影响最终得分,模型效果、开源资源以项目团队官方仓库和论文为准。
