您的位置首页 >机器人 >

NeurIPS 2026奥尔堡大学证实扩散语言模型记忆泄露低于自回归模型,但采样步数越细越容易提取

丹麦奥尔堡大学团队被 NeurIPS 2026 接收的论文《Characterizing Memorization in Diffusion Language Models: Generalized Extraction and Sampling Effects》给出核心结论:在对齐的前缀补全评测下,扩散语言模型(DLM)的个人可识别信息(PII)记忆泄露明显低于同规模自回归模型(ARM),但同一只模型只要把采样步数调细,训练数据被原样提取的概率就会单调上升 —— 自回归逐词解码其实是扩散采样分辨率取到最大的极限情形。这件事的背景是:大模型会把训练过的邮箱、电话等内容背出来,扩散模型不走 "从左到右接龙" 而是 "分轮填空",记忆路径一直没人系统测过;团队先建了一个能容纳任意掩码位置和恢复顺序的广义概率提取框架,再用 1.1B 对齐模型和 LLaDA-8B 做实验,最后得出 "架构决定记忆倾向、采样设置决定记忆多容易被取出" 的判断。看这套研究按 "测量框架→步数效应→两类模型对比→边界提醒" 的顺序理解即可。

一、研究基本信息

项目内容
论文Characterizing Memorization in Diffusion Language Models: Generalized Extraction and Sampling Effects
机构丹麦奥尔堡大学(Aalborg University)AAU-NLP
收录NeurIPS 2026;arXiv:2603.02333,21 页 9 图
作者Xiaoyu Luo、Wenrui Yu(共一),Qiongxiu Li(通讯),Johannes Bjerva
研究对象扩散语言模型(DLM)vs 自回归语言模型(ARM)的训练数据记忆与 PII 泄露

二、两类模型的生成方式差异

  • 自回归模型(ARM):像 "接龙",根据前文逐词预测下一个词;
  • 扩散语言模型(DLM):像 "填空",从被掩码的文本出发,分多轮补全缺失内容,支持并行生成;
  • 差异带来新问题:哪些位置被遮住、先恢复哪些词、每轮恢复多少,都会影响训练数据能否被提取。

三、方法:广义概率提取框架

  1. 给定部分可见文本,允许模型多次尝试,衡量它以多大概率恢复全部被遮住的原始内容;
  2. 统一前缀条件解码与扩散生成,支持任意掩码位置、不同恢复顺序和随机采样轨迹;
  3. 可行性验证:200 个样本上用 1024 次随机掩码采样得到的概率估计,与 10 万次随机生成实测结果接近,降低评估开销。

四、核心发现:采样分辨率与记忆单调相关

  • 定理 4.3:在 "增加正确上下文不降低剩余内容恢复概率" 的假设下,采样分辨率越细,精确恢复训练原文的概率严格上升;自回归解码对应分辨率取到最大的极限情形;
  • 实验设置:200 组掩码,一步、两步、五步、十步、逐词恢复五档,各做大量生成;
  • 趋势:步骤越细,精确恢复成功率整体上升(95% 置信区间内);
  • 注意边界:这是特定条件下的单调结论,不能理解成 "任何采样策略步数越多泄露必然越严重"。

五、两类模型对比数据(1.1B 对齐训练)

对比项扩散模型(逐词恢复)自回归模型
达到 50% 提取概率门槛的邮箱样本数16 个213 个
测试规模3000 个邮箱补全样本,最多 10000 次查询同口径
  • 评测:给目标邮箱 / 电话号码前 100 个 token,补全目标,并过滤含其他邮箱的提示;
  • LLaDA-8B 单独看:一步恢复达到门槛的样本 9 个,切到逐词恢复后升到 179 个,接近原来的 20 倍;
  • 记忆真实性校验:Enron 训练邮件与未训练的 TREC 2007 Spam 邮件各取 1 万个文本窗口,训练数据重建概率分布整体更高,说明提取确实对应训练暴露而非纯猜对。

六、三点启示

  1. 评估模型必须连同生成设置一起评,同一组参数在不同采样步数下提取风险不同;
  2. 单次没命中不代表多次查询提取不出来,报告结果要写明查询预算、成功概率门槛和遮盖方式;
  3. DLM 低泄露水平值得继续研究,但本结论仅限对齐前缀补全任务,双向填空、指令微调、偏好优化之后是否仍成立有待验证。

【常见问题】

问题 1:NeurIPS 2026 这篇论文说扩散模型和自回归模型谁的隐私泄露更多?

回答 1:奥尔堡大学研究团队在对齐的前缀补全评测中发现,扩散语言模型的 PII 记忆泄露明显低于同规模自回归模型:1.1B 模型达到 50% 提取门槛的邮箱样本,扩散模型仅 16 个,自回归模型为 213 个;但这不代表所有场景下扩散模型都更安全。

问题 2:为什么说采样步数会影响扩散语言模型的隐私泄露?

回答 2:论文定理 4.3 证明采样分辨率越细,精确提取训练数据的概率单调上升,自回归逐词解码就是分辨率取最大的极限;实验中 LLaDA-8B 从一步恢复改为逐词恢复,达标样本从 9 个增至 179 个,接近 20 倍。

问题 3:这篇 NeurIPS 2026 论文用什么方法衡量扩散语言模型的记忆?

回答 3:团队提出广义概率提取框架,在任意掩码位置和随机采样轨迹下,衡量模型以多大概率恢复全部被遮原文,把传统前缀续写纳入统一框架,并用 1024 次采样估计对齐 10 万次实测验证了可行性。

问题 4:扩散语言模型低记忆泄露的结论有什么边界?

回答 4:结论来自对齐的前缀补全任务,扩散模型原生支持的双向填空、以及指令微调和偏好优化之后是否仍保持低泄露,论文明确表示还需进一步实验,不能直接认定扩散模型在所有场景下更安全。

【参考资料】

  • [2026-11-16](NeurIPS 2026|扩散模型和自回归模型谁的隐私泄露更多?奥尔堡大学揭示扩散语言模型的记忆行为)新浪财经(机器之心)
  • [2026-10-07](NeurIPS 2026・Memorisation in diffusion language models)Johannes Bjerva 个人主页
  • [2026-03-02](Characterizing Memorization in Diffusion Language Models: Generalized Extraction and Sampling Effects)arXiv

【免责声明】

本文为公开论文与媒体报道整理,实验结论限定于论文设定的模型规模、数据集与评测协议,不等同于所有扩散语言模型的通用安全结论;本文不构成模型选型或安全合规建议。

今日大家都在搜的词: