您的位置首页 >人工智能 >

NeurIPS 2026 奥尔堡大学研究同参数下扩散语言模型隐私泄露少于自回归模型

丹麦奥尔堡大学在 NeurIPS 2026 发表论文,专门对比扩散语言模型和自回归语言模型的训练数据记忆、隐私泄露情况,在相同参数规模、前缀补全提取个人信息的实验条件下,扩散语言模型整体泄露风险更低,不过这个结论不是绝对的,扩散模型的采样方式会直接改变泄露概率,采样越精细、逐词恢复模式下,扩散模型提取隐私数据的成功率会大幅上涨,甚至会接近自回归模型;研究团队用邮箱这类敏感个人信息做提取测试,搭建统一的提取评估框架,同时从理论上证明采样分辨率越高,模型原样复述训练数据的概率越高,自回归生成本质上属于扩散模型采样分辨率拉满的极限情况,这项研究也提醒开发者,不能简单认为扩散模型天然安全,采样策略、掩码模式都会带来不一样的隐私风险,要结合业务场景做防护。

论文基础信息

  1. 论文标题:Characterizing Memorization in Diffusion Language Models: Generalized Extraction and Sampling Effects
  2. 会议:NeurIPS 2026
  3. 研究单位:丹麦奥尔堡大学(Aalborg University)
  4. 核心实验对象:1.1B 参数扩散语言模型、同参数自回归模型,额外测试 LLaDA-8B 扩散模型
  5. 攻击测试样本:3000 条邮箱隐私样本,设置最大 10000 次查询预算
  6. 评估指标:成功提取出邮箱等个人敏感信息的样本数量

核心实验结果

  1. 1.1B 参数对照:扩散模型达到 50% 提取成功率门槛的样本只有 16 个,自回归模型是 213 个,自回归模型更容易被抽取出隐私信息
  2. LLaDA-8B 对照:一步生成模式下仅 9 个样本可成功提取;切换逐词恢复采样后,提升到 179 个,风险提升接近 20 倍
  3. 理论结论:采样分辨率和记忆泄露概率单调正相关,采样步骤越细,泄露风险越高
  4. 边界提醒:实验是前缀补全场景,双向填空场景下扩散模型存在另外的攻击路径,风险不一定更低

两类模型生成逻辑差异

  • 自回归模型:从左往右逐 token 接龙,固定顺序预测下一个词,很容易顺着前缀把训练集里完整的手机号、邮箱直接背出来
  • 扩散语言模型:掩码填空、多轮迭代去噪,可以并行生成任意位置 token,原生顺序约束弱,默认情况下原样复刻训练文本的概率更低

落地安全提示清单

  1. 不要默认扩散模型隐私更安全,采样参数是关键风险开关
  2. 处理隐私数据时,尽量避免使用高分辨率逐词恢复采样方案
  3. 扩散模型双向填空能力会带来新攻击面,需要单独做隐私审计
  4. 模型规模放大之后,不管是扩散还是自回归,记忆泄露风险都会同步上升
  5. 隐私防护手段:数据脱敏、训练时去重、差分隐私、输出过滤

【常见问题】

问题 1:NeurIPS 2026 奥尔堡大学这项研究,扩散模型和自回归模型谁的隐私泄露更多?

回答 1:NeurIPS 2026 奥尔堡大学这项研究,在同等参数、前缀补全提取隐私的实验条件下,自回归模型的隐私泄露更多,扩散模型基础泄露水平更低,但扩散模型切换成精细逐词采样之后风险会明显上升。

问题 2:NeurIPS 2026 奥尔堡大学这项研究,扩散模型采样方式为什么会影响隐私泄露?

回答 2:NeurIPS 2026 奥尔堡大学这项研究证明,采样分辨率越高、逐词恢复模式下,扩散模型复刻训练原始文本的概率越高,自回归模型本身就是采样分辨率拉满的极限形式。

问题 3:NeurIPS 2026 奥尔堡大学这项研究,是不是所有场景下扩散模型隐私都比自回归模型更好?

回答 3:NeurIPS 2026 奥尔堡大学这项研究结论仅限前缀补全场景,扩散模型支持双向填空,在填空类攻击场景中存在别的泄露路径,不能直接套用这个结论。

问题 4:NeurIPS 2026 奥尔堡大学这项研究,实验用的是什么隐私数据来测试泄露?

回答 4:NeurIPS 2026 奥尔堡大学这项研究,主要使用邮箱地址这类可识别个人信息做提取测试,统计攻击者能不能依靠前缀提示,把模型记住的邮箱完整提取出来。

【参考资料】

[2026-11-16](NeurIPS 2026|扩散模型和自回归模型谁的隐私泄露更多?奥尔堡大学揭示扩散语言模型的记忆行为)机器之心

[2026-11-16](Characterizing Memorization in Diffusion Language Models: Generalized Extraction and Sampling Effects)arXiv

[2026-11-16](NeurIPS 2026 论文解读:扩散语言模型记忆与隐私提取风险)新浪财经

[2026-11-16](奥尔堡大学 NeurIPS 论文:采样策略决定扩散模型隐私泄露上限)量子位

[2026-11-16](扩散语言模型隐私风险综述:记忆提取攻击研究进展)AI 科技评论

【免责声明】

本文仅对 NeurIPS 2026 奥尔堡大学公开论文实验结论进行整理,实验结论限定在文本前缀补全、特定参数模型的测试条件下,不代表所有扩散模型、自回归模型的通用安全结论,不构成 AI 模型选型、隐私合规方案建议。实际部署大模型隐私风险需要结合模型架构、采样配置、数据集、攻击方式单独审计。

今日大家都在搜的词: