您的位置首页 >科技要闻 >

英伟达 SEED 技术优先写入记忆,无需读取完整上下文,单 GPU 吞吐最高提升 42%

SEED 全称 Shallow Encoding Emits Deep Memories,是面向大模型长上下文推理的优化方案,核心思路是写记忆的开销远小于读取、重算全部上下文,不用把整段提示词全部送入深层网络反复运算,只用浅层编码完成深层记忆写入;在 GB300 GPU 搭配 SGLang 部署、智能体编码任务实测中,SEED 可以做到几乎无损精度,单 GPU 最高把推理吞吐拉高 42%,非常适合 Agent、长文档、多轮对话这类长上下文场景,它不需要改动原有大模型权重,属于外挂式推理优化方案,能直接兼容 Mamba、Delta Attention 等主流序列模型。

传统长上下文推理最大瓶颈是 Prefill 阶段,每一段新上下文都要完整跑完所有网络层,上下文越长、KV 缓存读写压力越大,GPU 算力大量浪费在重复读取旧 token;SEED 换了一条路径:提示词里大部分 token 只跑浅层网络,通过 Emitter 发射器直接写出深层记忆状态,只保留最后一个 token 走完完整深层,大幅削减 Prefill 阶段计算量,同时对循环状态做低秩压缩存储,控制缓存占用。

一、SEED 核心参数与测试信息表

项目详情
全称Shallow Encoding Emits Deep Memories(SEED)
核心逻辑浅层编码写入深层记忆,减少 Prefill 全层计算
硬件测试平台NVIDIA GB300 GPU,SGLang 推理框架
测试场景Agent 智能体、代码追踪长上下文任务
性能收益单 GPU 吞吐最高提升 42%,精度几乎无损
模型兼容30B~300B 参数级别,Mamba-2、Kimi Delta Attention、Gated DeltaNet
改造特点冻结原始模型权重,不需要重新预训练
缓存策略不压缩注意力 KV 缓存,仅对循环隐状态低秩分解

二、SEED 两大技术模块拆解

1. Shallow Encoding 浅层编码写记忆

常规 Prefill:全部 token 逐层完整前向计算,成本很高。

SEED 方案:绝大多数提示 token 仅运行前面浅层网络,依靠训练好的 Emitter 发射器,从浅层残差流直接生成深层记忆;只有最后一个 token 执行全部网络层。

效果:Prefill 阶段最多只跑 63% 的网络层数,计算量直接下降。

2. 低秩循环状态存储

循环隐状态拆解为固定主分量(state sink)+ 低秩工作记忆,持续更新;论文证明反复压缩、更新后的误差有界,不会随着上下文无限拉长持续漂移,保证长对话、超长文档推理稳定。

三、和传统 RAG、KV 缓存复用的区别

  • RAG:遇到新问题去向量库检索片段,属于外部检索,存在召回偏差
  • 普通 KV 缓存复用:缓存只是保存已算好 KV,Prefill 依然要全层计算
  • SEED:属于模型内部推理优化,不依赖外部检索库,在 Prefill 源头减少计算开销,记忆直接写进模型隐状态

四、落地部署参考步骤

  1. 选用支持 DeltaNet / Mamba-2 结构的大模型,模型权重保持不变,不用重训
  2. 接入 SGLang 推理后端,开启 SEED 优化,加载预训练好的 Emitter 发射器模块
  3. 针对业务调整浅层锚点层位置,平衡吞吐和精度
  4. 压测长上下文(8k、32k 以上)场景,对比原有基线的 token 吞吐、首包延迟
  5. 优先在智能体、代码解释、长文档摘要业务上线,这类场景收益最明显

五、局限说明

SEED 更适合带循环状态的序列模型,标准 Transformer 纯注意力模型适配收益有限;虽然官方测试 11 项评测集精度几乎没掉,但超长极端上下文、强推理场景,依然需要单独做验证;当前属于论文方案,大规模商用配套工具链还在完善。

整体来看,SEED 抓住了 “写记忆比读记忆便宜” 这个关键点,避开长上下文 Prefill 算力陷阱,在不换大模型、不丢精度前提下拉高 GB300 等高端 GPU 的长文本推理产出,是 Agent 时代很有价值的推理优化路线。

【常见问题】

问题 1:英伟达 SEED 写入记忆不用读完整个网络,它单 GPU 吞吐最高提升多少?

回答 1:英伟达 SEED 写入记忆不用读完整个网络,在 GB300 GPU、Agent 代码场景实测,SEED 方案单 GPU 吞吐最高提升 42%,同时推理精度几乎无损。

问题 2:英伟达 SEED 写入记忆的原理,是修改原有大模型权重吗?

回答 2:英伟达 SEED 写入记忆方案不会改动原始大模型权重,它依靠额外训练的 Emitter 发射器,浅层编码生成深层记忆,属于推理侧优化,不需要重新预训练。

问题 3:英伟达 SEED 写入记忆,和 RAG 检索增强有什么不一样?

回答 3:英伟达 SEED 写入记忆是模型内部隐状态层面优化,减少 Prefill 计算;RAG 是外部向量数据库检索文本片段,二者机制不同,可以搭配一起使用。

问题 4:英伟达 SEED 写入记忆方案,适合哪些 AI 业务场景?

回答 4:英伟达 SEED 写入记忆方案更适合 Agent 智能体、代码处理、超长文档摘要、多轮长对话这类长上下文推理业务,在这类场景下 GPU 吞吐提升效果更突出。

【参考资料】

[2026-11-04](Shallow Encoding Emits Deep Memories SEED 论文)arXiv

[2026-11-10](SEED:长上下文推理优化,GB300 实测吞吐提升)机器之心

[2026-11-12](SEED 浅层编码写记忆技术解读)AI 前线

[2026-11-15](SGLang 适配 SEED 长上下文优化)InfoQ

【免责声明】

本文英伟达 SEED 写入记忆相关性能、原理信息来自学术论文与公开技术解读;42% 吞吐提升是特定硬件、模型、任务下的实测值,实际部署收益受模型结构、上下文长度、推理框架影响;SEED 目前仍属于前沿技术方案,暂未全面商用,本文仅作技术资讯参考,不构成选型、采购建议。

今日大家都在搜的词: