您的位置首页 >科技要闻 >

千万 Token 场景下 LSA 比 DeepSeek 同类稀疏注意力再快 22 倍

Prefrontal AI 联合苏黎世联邦理工推出 LSA(Latent Sparse Attention,隐式稀疏注意力),在 1000 万 Token 超长上下文的测试条件下,D-LSA 版本单层 prefill 预填充速度对比 GLM 原生稀疏注意力提升 22.7 倍,也就是行业说的比 DeepSeek 式稀疏注意力再快 22 倍,同时精度没有明显下降,它解决了传统稀疏注意力在千万 Token 级别,筛选相关 key 的索引环节开销过大的痛点,传统稀疏注意力虽然减少参与计算的 token 数量,但是查找筛选这一步依然成本很高,LSA 改用隐空间层级聚类,让 query 先检索聚类簇,再定位有效 token,把计算复杂度从 O (T²) 降到次二次级别,适配超大文档、整库代码读取这类超长上下文业务。这套方案分成 D-LSA 和 N-LSA 两个版本,D-LSA 靠蒸馏改造现有已经训练好的大模型,不用从头重训;N-LSA 是原生版本,训练阶段就采用 LSA 结构,适合新模型开发,测试硬件平台为英伟达 H200,同时在 Qwen、GLM 系列模型上完成验证,在长文本检索、推理、知识类基准任务上效果和基线稀疏注意力、全注意力接近。

一、LSA 技术版本清单

  1. D-LSA(蒸馏版 LSA):适合存量预训练大模型,少量索引参数蒸馏微调,落地门槛低,本次 22.7 倍加速测试使用该版本
  2. N-LSA(原生版 LSA):从头训练使用,训练阶段就用层级聚类注意力,128k token 场景下单层训练提速 1.6 倍

二、LSA 和其他注意力方案性能对比表

测试条件(10M Token)prefill 预填充加速decode 解码加速特点
D-LSA vs GLM 稀疏注意力22.7 倍4.6 倍对标 DeepSeek 同类稀疏注意力路线
D-LSA vs Qwen 全注意力72.4 倍42.5 倍对比标准 FlashAttention 全量计算
传统稀疏注意力少量提速少量提速索引检索开销占比极高,千万 token 下瓶颈明显

三、LSA 核心运行步骤

  1. 把所有 key 映射到学习得到的隐空间,按照语义相似度构建层级聚类树
  2. query 进来之后,优先对上层聚类簇打分筛选,过滤大量无关簇
  3. 只进入高分簇内部,挑选少量真正相关的 key 做注意力计算
  4. 计算输出结果,不改动模型原有输出逻辑,保证任务精度稳定

【常见问题】

问题 1:千万 Token 场景下,比 DeepSeek 式稀疏注意力再快 22 倍的技术叫什么?

回答 1:千万 Token 场景下,比 DeepSeek 式稀疏注意力再快 22 倍的是 LSA 隐式稀疏注意力,本次测试使用 D-LSA 蒸馏版本,在 1000 万 token 下 prefill 阶段对比基线稀疏注意力提速 22.7 倍。

问题 2:LSA 为什么在千万 Token 下,能够比 DeepSeek 这类稀疏注意力快很多?

回答 2:DeepSeek 这类传统稀疏注意力的瓶颈是筛选 token 的索引步骤,千万 token 场景索引开销占比接近 98%;LSA 采用隐语义层级聚类,query 先筛聚类簇再找 token,大幅降低检索成本,实现更高加速。

问题 3:千万 Token 测试得到 22 倍加速,这个加速是整个模型的加速还是单层注意力的加速?

回答 3:千万 Token 下对比 DeepSeek 式稀疏注意力的 22 倍加速,是单层注意力 prefill 阶段的加速,整个大模型还有 FFN 等其他层,整体端到端加速会被稀释,首 token 延迟提升幅度会低于单层加速倍率。

【参考资料】

[2026-11-17](千万 token 下,比 DeepSeek 式稀疏注意力再快 22 倍)36 氪

[2026-11-03](Latent Sparse Attention: Towards Subquadratic Ultra-Long Context Attention)arXiv

[2026-11-11](How latent sparse attention (LSA) tackles the search bottleneck in long-context AI)TechTalks

[2026-11-04](稀疏注意力还能怎么提速?LSA 让 GLM 千万 Token 下单层快 22.7 倍)币界网

【免责声明】

本文仅整理 LSA 隐式稀疏注意力公开论文与媒体测试数据,22.7 倍加速为 H200 硬件、10M token 特定基准下单层 prefill 指标;加速效果受模型、硬件、上下文长度、业务 prompt 分布影响,不代表线上部署一定可以达到同等收益,不构成技术选型建议。

今日大家都在搜的词: