您的位置首页 >机器人 >

LSA 隐空间稀疏注意力问世,千万 token 场景相比 DeepSeek 式稀疏注意力提速 22 倍

Prefrontal AI 联合苏黎世联邦理工学院推出 Latent Sparse Attention(LSA 隐空间稀疏注意力),在 1000 万 token 超长上下文测试环境下,对比 DeepSeek 风格的传统稀疏注意力方案,单注意力层 Prefill 预填充阶段实现 22.7 倍加速,传统稀疏注意力方案的短板是筛选 token 的索引器开销巨大,哪怕已经跳过大部分 token 做稀疏计算,索引环节依然接近全量扫描,在千万 token 级别索引开销会吃掉大部分算力收益,而 LSA 把 Key 向量在隐空间做层级聚类,用树搜索方式只检索高相关聚类簇,把复杂度从二次级降到 O (T log T),方案分 D-LSA 蒸馏适配版本和 N-LSA 原生训练版本,D-LSA 可以直接嫁接在已经训练好的成熟大模型上,不用重新全量训练,在 Qwen3.8-27B 上对比全注意力最高提速 72.4 倍,同时在 RULER、LongBench 等长文本评测任务里,模型精度和原版差距很小,不会为了速度明显损失长上下文理解能力,适配大代码库解析、超长文档分析这类超长篇输入场景。

一、LSA 和 DeepSeek 式稀疏注意力核心差异

对比项DeepSeek 式稀疏注意力(DSA)LSA 隐空间稀疏注意力
检索逻辑逐个打分筛选 token,索引器扫描开销高隐空间聚类 + 树束搜索,先筛聚类簇再找 token
千万 token 索引开销索引器占绝大部分 GPU 耗时索引开销大幅下降,算力花在有效注意力计算
适配方式原生需要配套训练逻辑D-LSA 蒸馏适配存量模型,N-LSA 从头预训练
10M token 预填充提速基准基准对照相对 DSA 提速 22.7 倍,相对全注意力最高 72.4 倍
精度表现稀疏取舍存在小幅衰减长上下文基准和全注意力接近,衰减可控

二、两个版本 LSA 方案说明

  1. D-LSA(蒸馏版 LSA):面向已经训练完成的现成大模型,冻结主体模型权重,只蒸馏学习新的索引器,接入成本低,GLM、Qwen 这类主流开源模型都可以改造,也是本次 22 倍加速测试用到的版本。
  2. N-LSA(原生版 LSA):模型预训练阶段就直接使用 LSA 注意力,训练阶段就能享受速度优势,最终效果可以贴近标准全注意力的上限,适合新模型研发。

三、实测硬件与任务指标

  • 测试 GPU:NVIDIA H200
  • 基准序列长度:10M token
  • 测试模型:GLM-5.3-Flash、Qwen3.8-27B
  • 关键收益:首 token 延迟最高降低 9.2 倍,解码阶段同样有可观加速
  • 适配场景:百万至千万级超长上下文、代码库全量读取、长篇合同、书籍批量解析、Agent 长记忆链路

四、当前方案存在的局限

  • 目前验证集中在长文本基准数据集,复杂多模态、超高并发线上生产环境还需要更多工程打磨
  • 聚类、树搜索逻辑会带来少量额外内存开销,对显存极小的边缘卡不够友好
  • 现阶段配套 SGLang 分支开源,还没有广泛接入 vLLM、TensorRT-LLM 主流推理框架

【常见问题】

问题 1:千万 token 下 LSA 比 DeepSeek 式稀疏注意力再快 22 倍,这个 22 倍是整模型加速还是单层注意力加速?

回答 1:千万 token 下 LSA 比 DeepSeek 式稀疏注意力再快 22 倍,22.7 倍是单注意力层 Prefill 预填充阶段的加速数据,不是整个大模型端到端 22 倍提速,整模型首 token 延迟提升约 9.2 倍。

问题 2:LSA 隐空间稀疏注意力相比 DeepSeek 式稀疏注意力,提速的核心原理是什么?

回答 2:LSA 隐空间稀疏注意力相比 DeepSeek 式稀疏注意力,解决了传统稀疏注意力索引器扫描所有 Key 的瓶颈,它先把 Key 做语义聚类,用树搜索锁定少量相关簇,跳过大量无关 token 打分,在千万长序列里大幅降低索引算力消耗。

问题 3:千万 token 场景下比 DeepSeek 式稀疏注意力快 22 倍的 LSA,能不能直接拿来改造现有的 Qwen、GLM 模型?

回答 3:千万 token 场景下比 DeepSeek 式稀疏注意力快 22 倍的 LSA,其中 D-LSA 蒸馏版本支持改造存量 Qwen、GLM 等预训练模型,不需要从头重新训练,接入门槛更低。

问题 4:LSA 对比 DeepSeek 稀疏注意力拿到 22 倍提速之后,长上下文理解能力会不会明显变差?

回答 4:LSA 对比 DeepSeek 稀疏注意力拿到 22 倍提速,论文在 RULER、LongBench 长上下文评测上验证,精度和原版模型差距很小,没有出现明显的长文本能力崩塌。

【参考资料】

[2026-11-17](千万 token 下,比 DeepSeek 式稀疏注意力再快 22 倍)36 氪

[2026-11-17](New LSA Method Achieves 22x Speedup Over DeepSeek-Style Sparse Attention at Tens of Millions of Tokens)C114Pro

[2026-11-11](How latent sparse attention (LSA) tackles the search bottleneck in long-context AI)TechTalks

[2026-11-04](Latent Sparse Attention: tree search over keys for 10M-token context)bayesiansapien 博客

免责声明

本文基于 LSA 公开论文与测试数据整理,22 倍加速是特定 H200 硬件、10M token、GLM-5.3-Flash 模型下的对照结果;不同模型、GPU、推理框架、prompt 结构会改变实际加速效果,该技术属于前沿科研方案,尚未大规模线上落地,内容不构成推理框架选型、模型改造落地指导。

今日大家都在搜的词: