英伟达 SEED 全称 Shallow Encoding Emits Deep Memories,是面向带循环状态的混合大模型的记忆优化方案,测试环境下在 GB300 GPU、SGLang 框架跑 Qwen3.8-Flash-Next,单 GPU 峰值吞吐最高提升 42%,而且原有模型权重不用改动,精度几乎没有损失。这套方案的核心思路就是一句话:写记忆不用跑完整深层网络,只靠浅层编码就能生成深层记忆状态,不用把整段上下文全部走完全层计算,专门解决 Agent、代码类长会话推理时预填充阶段算力浪费、显存压力大的痛点。SEED 主要由两大优化点组合而成,第一是浅层预填充,除最后一个 token 之外,前面的提示词 token 只跑浅层网络,再通过 Emitter 组件生成深层 KV 缓存和循环状态,减少预填充的计算量;第二是循环状态低秩压缩,循环状态拆解成固定主项加上低秩工作记忆,压缩之后占用显存大幅下降,测试里 Qwen3.8-Flash-Next 单请求循环状态从 113.2MB 降到平均 43.4MB。不过这个技术也有边界,SEED 并不压缩注意力 KV Cache,如果任务里 KV 缓存是显存占用大头,它带来的收益就会变弱;解码阶段每个生成 token 依旧要跑完模型全部层,提速收益集中在 prompt 预填充环节。
SEED 两项核心优化拆解
- 浅层编码预填充
- 原理:提示词大部分 token 只执行浅层网络,借助训练好的 Emitter 生成深层记忆
- 效果:减少预填充阶段计算层数,单独开启这项优化,吞吐大约提升 35%
- 限制:最后一个 token 仍走完整网络,保证生成起始状态准确
- 循环状态低秩压缩
- 原理:把循环状态拆成固定主向量 + 低秩因子存储、更新
- 效果:降低状态显存占用,单独开启这项优化,吞吐大约提升 5%
- 限制:不改动 KV Cache,只针对循环状态做压缩
实测性能数据(Qwen3.8-Flash-Next、GB300+SGLang)
| 开启配置 | 吞吐提升幅度 |
|---|---|
| 仅浅层预填充 | 约 35% |
| 仅循环状态压缩 | 约 5% |
| 两项同时开启 | 最高 42% |
适用与不适用场景清单
✅ 适合:Agent 会话、代码智能体这类大量长 prompt、频繁预填充的混合循环大模型
❌ 不适合:纯 Transformer、没有循环状态的模型;KV 缓存占显存主导的超长文本场景
【常见问题】
问题 1:英伟达 SEED 实现单 GPU 吞吐最高提升 42%,是什么条件下测出的结果?
回答 1:英伟达 SEED 42% 的吞吐提升,是在 GB300 GPU、SGLang 推理后端、Qwen3.8-Flash-Next 模型、Agent 代码会话负载,浅层编码 + 状态压缩同时开启的条件下测得。
问题 2:英伟达 SEED 优化记忆读写,会影响大模型输出效果吗?
回答 2:英伟达 SEED 保持原始模型权重冻结,在 5 款模型、6 个权重版本、11 项考试评测里精度几乎无损,它只修改记忆生成与存储方式,不改动模型本身能力。
问题 3:英伟达 SEED 和普通 KV 缓存压缩有什么不一样?
回答 3:英伟达 SEED 不会压缩 KV 注意力缓存,优化对象是模型循环状态;传统 KV 压缩是压缩注意力键值对,二者优化对象不同,可以搭配使用也可以单独落地。
问题 4:英伟达 SEED 可以直接拿来商用部署吗?
回答 4:目前英伟达 SEED 相关代码、组件计划后续开源,现阶段还属于论文方案,还没有正式集成到主流推理框架稳定版本,需要等待代码放出后适配验证。
【参考资料】
[2026-11-19](写入记忆,何必读完整个网络?英伟达 SEED 每 GPU 吞吐最高提升 42%)新浪财经
[2026-11-04](Shallow Encoding Emits Deep Memories)arXiv
[2026-11-03](SEED:Shallow Encoding Emits Deep Memories 论文发布,浅层编码生成深层记忆)arXiv
【免责声明】
本文仅对英伟达 SEED 技术论文与公开测试数据做信息整理,SEED 的性能提升幅度受 GPU 型号、模型结构、prompt 长度、推理框架影响;该方案暂未正式开源落地,不构成推理框架选型、硬件采购以及技术投入的投资建议。
