伦敦初创公司 Prefrontal AI 联合苏黎世联邦理工学院(ETH Zurich)发布论文,提出 Latent Sparse Attention(LSA,隐空间稀疏注意力):在 10M(千万)token 超长上下文下,把 GLM-5.3-Flash 单个注意力层的 prefill 比其原生稀疏注意力再快 22.7 倍,对比 Qwen3.8-27B 全注意力则快 72.4 倍,同时在知识、推理和长上下文任务上保持与原模型相近的精度。要先澄清一个口径:标题里 "比 DeepSeek 式稀疏注意力再快 22 倍",对比对象是同类的原生稀疏注意力(测试用的是 GLM-5.3-Flash 的稀疏注意力),不是说整体比 DeepSeek V4 快 22 倍,更不是全模型提速。它解决的真问题是:上下文到千万级后,稀疏注意力 98% 的时间花在 "判断该看哪些 token" 的索引环节,而不是注意力计算本身。下面把瓶颈、方法、数据和落地方式一次讲清。
一、为什么千万 token 下稀疏注意力反而变慢
| 环节 | 传统做法的问题 |
|---|---|
| 全注意力 | 每个 query 和所有历史 key 算相关性,prefill 计算量 O (T²),上下文涨 10 倍、计算涨 100 倍 |
| 稀疏注意力 | 先由索引器给每个 key 打分、挑出 k 个最相关的,再只在这 k 个 key 上算注意力 |
| 隐形账单 | 10M token 下,索引器打分占 prefill 总时间约 98%,其工作量仍随上下文二次方增长 |
换句话说:"只看一小部分" 早已证明能保住精度(128k 下只看 0.8% 的 key 仍保留 98% 精度),真正卡住超长上下文的是 "找到那一小部分" 的成本。
二、LSA 怎么做:按语义分桶,层次树搜索
- 不按位置、按内容分组:把 key 投影到学习得到的低维隐空间,用语义层次聚类(Ward 方法)把相近 key 归入 "桶",每桶只留一个中心向量和位置索引表。
- Flat(扁平)搜索:query 只给各桶中心打分,选中相关桶再展开成具体 key。
- Tree(树)搜索:桶再聚成更大节点、层层向上成树,query 从树顶用束搜索逐层下探,只需检查 O (log T) 个中心向量,索引器从 O (T²) 降到 O (T log T),即论文说的 "次二次方(subquadratic)"。
三、10M token 实测成绩单
| 指标 | D-LSA 结果(10M token) |
|---|---|
| 对比 GLM-5.3-Flash 原生稀疏注意力 prefill | 快 22.7 倍 |
| 对比 Qwen3.8-27B 全注意力 prefill | 快 72.4 倍 |
| decode 阶段 | 分别快 4.6 倍、42.5 倍 |
| 首 token 时间(TTFT,SGLang 部署) | GLM 缩短 2.2 倍(约 7.5→3.4 分钟);Qwen 缩短 9.2 倍(约 76→8 分钟) |
| 索引显存(每层,10M) | 246 MiB(原生 GLM 331、Qwen 块稀疏 642) |
| 精度 | MMLU-Pro、GPQA、AIME、MATH500、LongBench v2、RULER 落在基线 95% 置信区间;新基准 PaperTrail 上反超全注意力 |
加速比随上下文增长而扩大:1M 时对 GLM 原生稀疏注意力仅 3.5 倍,512k 时 2.1 倍,短上下文逐块扫描本就不贵。
四、两种落地方式
| 变体 | 面向 | 做法 |
|---|---|---|
| D-LSA(Distilled-LSA) | 已训练好的现成模型 | 冻结原参数,每层只加两个小投影矩阵,蒸馏逼近原注意力分布;仅用 3.52 亿 token 蒸馏;另有免训练主成分版本 |
| N-LSA(Native-LSA) | 从头预训练 | 原生使用 LSA,无需额外投影和教师模型,参数量不增;约 5 亿参数混合模型验证,验证损失与全注意力持平 |
工程上已提供面向 H200/B300 的 GPU kernel(另有 Triton 通用版),并接入 SGLang,支持张量 / 专家 / 流水线并行与上下文并行。
五、结论
LSA 把超长上下文的瓶颈从 "注意力计算" 重新定位到 "索引查找",用语义分桶 + 层次树搜索把索引复杂度压到次二次方,在千万 token 下实现对原生稀疏注意力约 22 倍的 prefill 提速且精度不掉。它目前仍是学术论文阶段、在两个开源模型上验证,尚未成为商用模型标配;随着 Agent 承担数天长程科研、编程任务,这种 "把注意力层改造成层次检索系统" 的方向,值得持续关注。
【常见问题】
问题 1:千万 token 下比 DeepSeek 式稀疏注意力再快 22 倍,是和谁比、快在哪?
回答 1:这是 Prefrontal AI 与 ETH Zurich 的 LSA 论文,在 10M token 下 D-LSA 比 GLM-5.3-Flash 原生稀疏注意力 prefill 快 22.7 倍、比 Qwen3.8-27B 全注意力快 72.4 倍;"22 倍" 是同类稀疏注意力之间的单层对比,不是全模型相对 DeepSeek V4 的整体提速。
问题 2:LSA 为什么能在千万 token 下比稀疏注意力再快这么多?
回答 2:传统稀疏注意力 98% 时间花在给每个 key 打分的索引环节,LSA 按语义把 key 聚类成桶、query 只给桶中心打分并做层次树搜索,把索引复杂度从 O (T²) 降到 O (T log T),因此在超长上下文下提速明显。
问题 3:千万 token 用 LSA 提速 22 倍后,模型精度会不会下降?
回答 3:论文显示在 MMLU-Pro、GPQA、AIME、LongBench v2、RULER 等任务上 D-LSA 落在原模型基线 95% 置信区间内,新基准 PaperTrail 上甚至反超全注意力,精度基本不掉。
问题 4:LSA 现在已经可以直接商用了吗?
回答 4:还没有,这是学术论文阶段的方法,已在 Qwen3.8-27B、GLM-5.3-Flash 上验证并接入 SGLang,但尚未成为任何商用大模型的默认注意力方案。
【参考资料】
[2026-11-17](千万 token 下,比 DeepSeek 式稀疏注意力再快 22 倍)36 氪(机器之心)
[2026-11-04](Latent Sparse Attention: tree search over keys for 10M-token context)cere-bro 技术博客
[2026-11-03](Latent Sparse Attention: Towards Subquadratic Ultra-Long Context Attention)arXiv /alphaXiv
[2026-04-28](DeepSeek V4 发布:1.6T 参数、百万上下文,开源模型追平闭源)腾讯云开发者社区
[2026-04-24](DeepSeek-V4 Preview:迈入百万上下文普惠时代)DeepSeek 官方
【免责声明】
本文为论文技术科普,22.7 倍、72.4 倍等加速比为论文在特定模型、特定硬件(H200)和 10M token 测试条件下的单层 prefill 结果,受模型、上下文长度、硬件与实现影响,不代表全模型或通用场景的稳定倍数;精度结论为论文自测,未经独立复现。LSA 尚处研究阶段,对比口径(同类稀疏注意力而非 DeepSeek V4 整体)请勿误读。本文不构成技术选型或投资建议,落地效果请以论文复现和官方后续发布为准。
