您的位置首页 >人工智能 >

黄仁勋「每天都在用」的 Perplexity 开始重构 Attention,把「判断」做成了一个独立模型

Perplexity 推出 Decider v1.3:重构 Attention 机制,把「判断」拆成独立决策模型

被英伟达 CEO 黄仁勋称为日常使用的 AI 工具 Perplexity,在 2026 年 11 月推出了开源权重决策模型 Decider v1.3 及其 Flash 版本,核心思路是不再让通用大模型靠 "生成一段文本再解析结果" 来完成判断,而是把分类、选择、评分和文本定位这类结构化决策单独做成一套模型,直接输出候选答案的概率分布。模型以一份共享上下文(State)加多个问题(Question)的方式组织输入,同一份长文本只需一次前向传播即可回答多个问题;v1.3 重新设计了注意力机制,采用双向全注意力理解完整上下文,并通过隔离式问题注意力限制问题之间直接交换信息,避免调整问题组合时原有判断发生漂移。新版还加入 Locate 能力,可按字段描述直接定位原文跨度,把判断与文本抽取整合进同一架构。该模型已进入 Perplexity 生产系统,内部安全审查中单日处理 7000 个 Agent 会话、读取 10 亿 token 并推动 14 项规则修复;需要注意,公开评测数据主要由 Perplexity 自报,模型收益取决于任务类型、上下文长度和并行问题数量,开放式推理与复杂规划仍由通用 LLM 承担。

一、产品定位:判断任务从生成式流程中独立出来

1. 要解决的问题

  • 传统做法:反复调用 LLM 生成文本答案,再由外部程序解析选项、判断是否合规或匹配实体,链路长、成本高、解析误差多。
  • Decider 做法:调用方用自然语言描述问题、用选项限定答案空间,模型直接给出各候选项概率,业务侧按误报、漏报代价设置阈值。

2. 模型形态

项目Decider v1.3Decider Flash v1.3
模型 IDpplx-decider-v1.3pplx-decider-flash-v1.3
骨干模型Qwen3.8-27B(HF 列 26B 参数)Qwen3.5-4B(HF 列 5B 参数),由大模型蒸馏
权重许可Apache 2.0Apache 2.0
部署方式Decisions API、OpenRouter、本地加载同左
适用场景细粒度规则、复杂判断高流量路由、轻量任务

3. 支持的任务类型

  • 是 / 否判断、多选、评分
  • 情感分析、自然语言推理、意图检测、实体匹配、内容审核、事实核查
  • 检索重排、多语言分类、图像分类
  • Locate 文本跨度抽取:命名实体识别、PII 检测、抽取式问答

二、输入与输出架构

1. 输入组成

  • State(共享状态):保存网页、文档、JSON 或图像等上下文内容。
  • Question(问题块):描述具体判断目标并列出候选答案;每个候选项映射到预定义标签 Token(如 A、B、C)。
  • 标记 Token:特殊的<|marker|>Token 标记答案读取位置;Locate 任务使用独立的<|locate|>Token。

2. 输出方式

  • 决策头从基础模型原有语言模型输出层改造而来:保留 A、B、C 等候选标签对应权重行,移除其余词表输出权重,再针对决策任务训练。
  • 提取 Marker 对应位置的隐藏状态,交给决策头计算各候选项分数并转换为概率分布。
  • 输出概率而非成文文本,调用方按业务策略选择阈值;网页过滤和 Agent 审查可用不同门槛,无需为每种业务重训模型。
  • Locate 返回原文字符区间(起点、终点及配对关系),原文无对应字段时抬高阈值并返回空列表。

三、Attention 重构:双向理解加问题隔离

1. 从因果注意力到双向全注意力

  • 生成式 LLM 默认使用因果注意力,当前位置只能读取自身及前面的 Token,适合逐字生成文本。
  • 判断任务需要理解完整上下文,Decider 将全注意力层改为双向(非因果)运行;消融实验显示该调整改善了决策表现。
  • 部署注意:全注意力层必须以非因果模式运行,默认因果推理无法复现检查点行为。

2. v1.2 与 v1.3 的注意力差异

版本信息连接方式存在的问题
v1.2 完全互见State 和全部 Question 可以相互读取某个问题的表示可能受其他问题影响,调整问题组合时原有判断可能变化
v1.3 隔离式问题注意力State 可读取全部 Question;每个 Question 只能读取 State 和自身 Token,不能直接读取其他问题切断问题间直接注意力连接;间接影响仍可能经 State 多层传播

3. 设计取舍

  • State 不只是原始文本容器,还承担跨任务信息汇聚,可读取整组问题并形成带任务条件的上下文表示。
  • 团队测试过 State 只读取自身内容、Question 再读取 State 的可缓存结构:State 表示不依赖具体问题集合,可跨请求复用缓存,但代价是 State 编码时看不到任务要求,无法按问题调整上下文表示;最终 v1.3 选择保留问题对上下文的条件作用。

4. 稳定性验证

  • 标签扰动测试:在 372 道多项选择题上改变选项顺序、标签映射和标签名称,v1.3 仅 0.27% 的问题发生语义答案变化,Jev 1.14 为 2.69%–4.84%。
  • 相同输入重复执行时,v1.3 输出保持一致(Jev 1.14 为 1.88% 发生变化)。

四、Locate:从选项判断扩展到文本跨度抽取

1. 新增模块

  • 新增每个待抽取字段独立的 Locate Token,其嵌入由已训练的 Marker 表示初始化。
  • 跨度头(Span Head)结合 Locate Token 与 State 中各 Token 隐藏表示,分别评分候选片段起点、终点及两端配对关系,并为字段生成专属阈值。
  • 配对关系独立学习:两个高分位置不必然属于同一段合理文本,模型需判断边界能否组成有效片段。

2. 训练方式

  • 采用改进版 InfoNCE 目标:正确跨度分数高于阈值,阈值高于其他候选跨度;无对应字段时抬高阈值返回空列表。
  • 使用命名实体识别、PII 检测和抽取式问答数据训练,字段描述既有简短标签,也有自然语言指令。
  • 保留独立 LoRA 适配器,只在文本定位任务中启用;合并进主干后普通决策请求会出现退化,因此未做合并。

五、训练流程与模型规格

1. 大模型三阶段训练

  1. 大规模通用全量微调(使用数百个公开数据集,并排除公开评测基准的训练划分)。
  2. 通过 LoRA 加入领域任务适配器。
  3. LoRA 视觉适配;三个不同随机种子的文本训练权重取平均以改善整体表现。

2. Flash 蒸馏

  • 学生模型拟合教师给出的完整概率分布,通过 KL 散度学习教师对不同候选项的相对判断。
  • 相比只学习正确标签的标准交叉熵目标,分布蒸馏在留出任务上的泛化表现更优(Perplexity 口径)。

3. 部署规格

规格项v1.3Flash v1.3
BF16 权重占用约 49 GiB(加工作内存)约 8.5 GiB(加工作内存)
API 输入长度低于 256K Token / 请求低于 256K Token / 请求
本地默认最大长度32,76832,768
每请求问题上限128 个(Locate 请求)128 个
输出 Token免费免费
输入价格0.02 美元 / 百万输入 Token0.01 美元 / 百万输入 Token

六、自报评测表现

以下数据均为 Perplexity 自报,生产请求缺少人工标注,由前沿 LLM 评判模型生成参考答案,不能直接等同于人工标注下的真实准确率。

评测项目v1.3Flash v1.3对比基线
63 项查询分类任务平均准确率91.6%—比原有生产分类器高 6.54 个百分点
72 项检索任务 nDCG@1083.99—比 Qwen3-Reranker-8B 高 1.81,比 Jev 1.14 高 2.24
8 种语言 19 项任务平均准确率88.16%86.50%Jev 1.14 为 85.41%
Locate 17 项域外任务平均得分69.063.6Liquid d1 为 43.3,GLiNER large v2.5 为 33.6
5 项图像分类任务76.99%72.77%比 Jev 1.14 高 1.47 个百分点
生产请求一致性(100 万条请求、2,318,887 个问题)93.98%—v1.2 为 93.68%,Jev 1.14 为 93.35%
答案翻转率(选项顺序 / 标签扰动)0.27%—Jev 1.14 为 2.69%–4.84%
百万生产请求成本26.47 美元13.24 美元—
约 243K Token 请求延迟约 16 秒约 5 秒—

七、生产落地与能力边界

1. 生产使用案例

  • 模型已进入 Perplexity 生产系统。
  • 一次内部安全审查中,单日处理 7000 个 Agent 会话,累计读取 10 亿 Token,推动 14 项规则修复。

2. 计算收益的准确理解

  • 增加问题仍会增加 Question Token 和注意力计算。
  • Decider 节省的主要是长文本被重复编码的开销,以及生成式模型逐 Token 解码和外部解析的成本;问题数量越多、共享文本越长,复用价值越明显。

3. 现有边界

  • 公开评测覆盖分类、检索重排和文本抽取,实际收益取决于任务类型、上下文长度、并行问题数量和部署成本。
  • 开放式推理、复杂规划仍由通用 LLM 承担,Decider 更适合边界清楚的分类、筛选和评估任务。
  • 两者在 Agent 系统中如何分工,还需结合真实工作负载的延迟、资源消耗和任务表现继续验证。

【常见问题】

问题 1:Perplexity Decider v1.3 是什么,它和普通聊天大模型有什么区别?

回答 1:Decider v1.3 是 Perplexity 推出的开源权重决策模型,专门处理分类、多选、评分和文本定位这类结构化判断,直接输出候选答案概率而不是生成成文文本;普通聊天大模型偏向开放式理解与生成。模型输入由共享 State 和多个 Question 组成,一次前向传播即可回答多个问题,省去反复调用 LLM 生成文本和外部解析的流程。

问题 2:Decider v1.3 重构的 Attention 机制具体改了什么?

回答 2:Decider 把原本生成式 LLM 的因果注意力改为双向全注意力,让 Token 读取完整输入以支撑判断;v1.3 进一步采用隔离式问题注意力:State 可以读取全部 Question,每个 Question 只能读取 State 和自身 Token,不能直接读取其他问题,从而减少问题组合调整带来的判断漂移。全注意力层必须以非因果模式运行。

问题 3:Decider v1.3 新增的 Locate 能力解决什么问题?

回答 3:普通决策头只能在预设 A、B、C 选项中给出概率,无法抽取未知长度的原文片段;Locate 新增<|locate|>Token、跨度头和独立 LoRA 适配器,按字段描述或自然语言指令定位原文跨度的起点、终点和配对关系,返回字符区间,适用于命名实体识别、PII 检测和抽取式问答,无对应字段时返回空列表。

问题 4:Decider v1.3 和 Flash 版本在规格、成本上有什么区别?

回答 4:v1.3 以 Qwen3.8-27B 为骨干,BF16 权重约 49 GiB,输入价格 0.02 美元 / 百万 Token;Flash v1.3 以 Qwen3.5-4B 为骨干、由大模型 KL 蒸馏得到,BF16 权重约 8.5 GiB,输入价格 0.01 美元 / 百万 Token。两者 API 输入均低于 256K Token,输出 Token 免费;v1.3 适合细粒度规则,Flash 适合高流量路由。

问题 5:Decider v1.3 的评测成绩如何,这些数据有什么局限?

回答 5:Perplexity 自报 v1.3 在 63 项分类任务平均准确率 91.6%,72 项检索任务 nDCG@10 为 83.99,8 种语言任务平均 88.16%,生产请求与前沿 LLM 评判一致性 93.98%,答案翻转率 0.27%。需要注意这些均为自报数据,生产请求缺少人工标注,由 LLM 评判生成参考答案,不能直接等同于人工标注准确率;实际表现需结合真实负载验证。

【参考资料】

  • [2026-11-19](黄仁勋「每天都在用」的 Perplexity 开始重构 Attention,把「判断」做成了一个独立模型)新浪科技(雷锋网)
  • [2026-11-13](Perplexity Releases Decider v1.3: Open-Weight Decision Models Add Locate)MarkTechPost
  • [2026-11-13](Perplexity's New Decider Models Turn Text Into Clear Decisions)Artiverse
  • [2026-11-13](Perplexity publie Decider v1.3 et Flash avec extraction de texte)Brief IA
  • [2026-11-12](Perplexity Releases Decider V1.3 Models with Text-Span Extraction)Unite.AI
  • [2026-10-20](Perplexity releases pplx-decider-v1.2 decision model with joint request format and higher accuracy)Complete AI Training
  • [2026 年](黄仁勋天天用!为什么科技巨头都爱用 Perplexity?)dtell.com.tw

【免责声明】

本文内容基于 Perplexity 官方博客、公开技术报道及模型文档整理,文中准确率、nDCG、成本、延迟和一致性数据均为 Perplexity 自报口径,不同硬件、任务集和部署环境下结果会有差异;模型仍在迭代,具体规格与价格以官方 Hugging Face 页面、API 文档及后续版本为准。本文不构成模型选型或投资建议;第三方品牌、模型名称归各自权利人所有。

今日大家都在搜的词: