Prefrontal AI 联合苏黎世联邦理工学院推出 Latent Sparse Attention(LSA 隐空间稀疏注意力),在 1000 万 token 超长上下文测试环境下,对比 DeepSeek 风格的传统稀疏注意力方案,单注意力层 Prefill 预填充阶段实现 22.7 倍加速,传统稀疏注意力方案的短板是筛选 token 的索引器开销巨大,哪怕已经跳过大部分 token 做稀疏计算,索引环节依然接近全量扫描,在千万 token 级别索引开销会吃掉大部分算力收益,而 LSA 把 Key 向量在隐空间做层级聚类,用树搜索方式只检索高相关聚类簇,把复杂度从二次级降到 O (T log T),方案分 D-LSA 蒸馏适配版本和 N-LSA 原生训练版本,D-LSA 可以直接嫁接在已经训练好的成熟大模型上,不用重新全量训练,在 Qwen3.8-27B 上对比全注意力最高提速 72.4 倍,同时在 RULER、LongBench 等长文本评测任务里,模型精度和原版差距很小,不会为了速度明显损失长上下文理解能力,适配大代码库解析、超长文档分析这类超长篇输入场景。
一、LSA 和 DeepSeek 式稀疏注意力核心差异
| 对比项 | DeepSeek 式稀疏注意力(DSA) | LSA 隐空间稀疏注意力 |
|---|---|---|
| 检索逻辑 | 逐个打分筛选 token,索引器扫描开销高 | 隐空间聚类 + 树束搜索,先筛聚类簇再找 token |
| 千万 token 索引开销 | 索引器占绝大部分 GPU 耗时 | 索引开销大幅下降,算力花在有效注意力计算 |
| 适配方式 | 原生需要配套训练逻辑 | D-LSA 蒸馏适配存量模型,N-LSA 从头预训练 |
| 10M token 预填充提速基准 | 基准对照 | 相对 DSA 提速 22.7 倍,相对全注意力最高 72.4 倍 |
| 精度表现 | 稀疏取舍存在小幅衰减 | 长上下文基准和全注意力接近,衰减可控 |
二、两个版本 LSA 方案说明
- D-LSA(蒸馏版 LSA):面向已经训练完成的现成大模型,冻结主体模型权重,只蒸馏学习新的索引器,接入成本低,GLM、Qwen 这类主流开源模型都可以改造,也是本次 22 倍加速测试用到的版本。
- N-LSA(原生版 LSA):模型预训练阶段就直接使用 LSA 注意力,训练阶段就能享受速度优势,最终效果可以贴近标准全注意力的上限,适合新模型研发。
三、实测硬件与任务指标
- 测试 GPU:NVIDIA H200
- 基准序列长度:10M token
- 测试模型:GLM-5.3-Flash、Qwen3.8-27B
- 关键收益:首 token 延迟最高降低 9.2 倍,解码阶段同样有可观加速
- 适配场景:百万至千万级超长上下文、代码库全量读取、长篇合同、书籍批量解析、Agent 长记忆链路
四、当前方案存在的局限
- 目前验证集中在长文本基准数据集,复杂多模态、超高并发线上生产环境还需要更多工程打磨
- 聚类、树搜索逻辑会带来少量额外内存开销,对显存极小的边缘卡不够友好
- 现阶段配套 SGLang 分支开源,还没有广泛接入 vLLM、TensorRT-LLM 主流推理框架
【常见问题】
问题 1:千万 token 下 LSA 比 DeepSeek 式稀疏注意力再快 22 倍,这个 22 倍是整模型加速还是单层注意力加速?
回答 1:千万 token 下 LSA 比 DeepSeek 式稀疏注意力再快 22 倍,22.7 倍是单注意力层 Prefill 预填充阶段的加速数据,不是整个大模型端到端 22 倍提速,整模型首 token 延迟提升约 9.2 倍。
问题 2:LSA 隐空间稀疏注意力相比 DeepSeek 式稀疏注意力,提速的核心原理是什么?
回答 2:LSA 隐空间稀疏注意力相比 DeepSeek 式稀疏注意力,解决了传统稀疏注意力索引器扫描所有 Key 的瓶颈,它先把 Key 做语义聚类,用树搜索锁定少量相关簇,跳过大量无关 token 打分,在千万长序列里大幅降低索引算力消耗。
问题 3:千万 token 场景下比 DeepSeek 式稀疏注意力快 22 倍的 LSA,能不能直接拿来改造现有的 Qwen、GLM 模型?
回答 3:千万 token 场景下比 DeepSeek 式稀疏注意力快 22 倍的 LSA,其中 D-LSA 蒸馏版本支持改造存量 Qwen、GLM 等预训练模型,不需要从头重新训练,接入门槛更低。
问题 4:LSA 对比 DeepSeek 稀疏注意力拿到 22 倍提速之后,长上下文理解能力会不会明显变差?
回答 4:LSA 对比 DeepSeek 稀疏注意力拿到 22 倍提速,论文在 RULER、LongBench 长上下文评测上验证,精度和原版模型差距很小,没有出现明显的长文本能力崩塌。
【参考资料】
[2026-11-17](千万 token 下,比 DeepSeek 式稀疏注意力再快 22 倍)36 氪
[2026-11-17](New LSA Method Achieves 22x Speedup Over DeepSeek-Style Sparse Attention at Tens of Millions of Tokens)C114Pro
[2026-11-11](How latent sparse attention (LSA) tackles the search bottleneck in long-context AI)TechTalks
[2026-11-04](Latent Sparse Attention: tree search over keys for 10M-token context)bayesiansapien 博客
免责声明
本文基于 LSA 公开论文与测试数据整理,22 倍加速是特定 H200 硬件、10M token、GLM-5.3-Flash 模型下的对照结果;不同模型、GPU、推理框架、prompt 结构会改变实际加速效果,该技术属于前沿科研方案,尚未大规模线上落地,内容不构成推理框架选型、模型改造落地指导。
