英伟达推出 SEED(Shallow Encoding Emits Deep Memories,浅层编码生成深层记忆)推理优化方案,核心思路就是写记忆的时候不需要把整个模型网络全部跑完,在 GB300 显卡搭配 SGLang 框架、Agent 编码会话场景下,Qwen3.8-Flash-Next 模型的单 GPU 吞吐最高提升 42%,而且原模型权重保持冻结,不用重新训练主模型,在 11 项官方评测里精度几乎没有损失,非常适合 Agent、长会话这类需要持续读写循环状态的混合大模型。传统方案做预填充的时候,每一个输入 token 都要跑完模型全部网络层,再生成深层 KV 缓存和循环状态,计算开销大,GPU 资源很容易被占满;SEED 分成两大优化方向,一是浅层预填充,写记忆阶段大部分 token 只跑浅层网络,靠轻量发射组件生成深层记忆,只有最后一个 token 跑完整层级;二是循环状态低秩压缩,把大体积的循环状态拆解成主分量加低秩因子,大幅降低状态存储占用,解码阶段生成 token 依旧会跑完全部网络层,保证输出质量不变。这个方案不压缩常规注意力 KV Cache,所以它的收益在状态读写频繁的 Agent 任务上最明显,纯超长文本 KV Cache 占显存大头的场景,提升效果会有限。
一、SEED 核心测试数据
| 测试项目 | 实测数据 | 说明 |
|---|---|---|
| 测试硬件 | GB300 GPU | 搭配 SGLang 推理框架 |
| 测试模型 | Qwen3.8-Flash-Next(48 层混合模型) | Agent 编码会话负载 |
| 单 GPU 峰值吞吐提升 | 16%~42% | 浅层预填充 + 状态压缩一起开启达到上限 |
| 同等 P90 端到端时延下吞吐提升 | 23%~42% | 兼顾排队、首 token 延迟的真实业务指标 |
| 单请求循环状态体积 | 从 113.2MB 降至 29.2MB,平均 43.4MB | 仅压缩循环状态,不压缩 KV Cache |
| 模型改动方式 | 冻结原始权重,只新增轻量发射组件 | 不需要微调基座大模型 |
| 精度表现 | 11 项官方考试评测几乎无损 | 5 个混合模型、6 个权重文件验证 |
二、SEED 两大核心技术原理
- 浅层预填充(写记忆减负)
- 循环状态低秩分解压缩
Qwen3.8-Flash-Next 一共 48 层,SEED 规则是除最后一个 token 之外,其余输入 token 只跑前 31 层,依靠专门的发射组件,从浅层残差流直接生成深层 17 层需要的 KV 缓存和循环状态。原理是写入记忆的计算难度,远低于预测下一个 token 的解码计算,不用完整走完全部网络。
循环状态里大部分信息集中在固定方向的主分量,剩下部分是低秩结构。SEED 不存完整矩阵,只保存主分量 + 低秩因子,读写、更新都在分解后的小体积数据上操作,减少显存占用和数据搬运开销。
三、SEED 适用与不适用场景清单
✅ 适合场景
- Agent 智能体、代码 Agent、多轮对话,频繁读写循环状态
- Mamba、Delta Attention 这类带循环状态的混合架构大模型
- 云端推理集群,追求 GPU 吞吐、降本增效
- 纯超长上下文摘要,显存瓶颈来自 KV Cache,不是循环状态
- 只做单次短 prompt、没有持续循环状态的静态推理任务
❌ 收益有限场景
四、和其他 KV 缓存优化方案的区别
- SEED:优化预填充计算量 + 循环状态存储,不压缩注意力 KV Cache;
- SwiftKV、POP:侧重从浅层特征生成深层 KV Cache,不针对循环状态做分解;
- 常规 KV 压缩 / 稀疏化:目标是压缩注意力缓存,和 SEED 优化对象不一样。
五、现阶段边界说明
SEED 目前还属于论文方案,相关代码、新增组件、配套训练数据计划后续公开,暂时还没有集成进正式 CUDA、推理库稳定版本;收益上限取决于负载类型,不是所有大模型任务都能拿到 42% 的提升。
【常见问题】
问题 1:英伟达 SEED 技术为什么可以不用读完整个网络写入记忆,实现单 GPU 吞吐最高提升 42%?
回答 1:英伟达 SEED 利用写记忆比预测 token 更容易的特性,预填充阶段大部分 token 只跑浅层网络,依靠发射组件生成深层记忆,同时对循环状态做低秩分解压缩,减少计算和显存开销,在 GB300+SGLang 的 Agent 编码场景,单 GPU 吞吐最高提升 42%。
问题 2:英伟达 SEED 提升吞吐的时候,会不会改动原有大模型权重、造成精度明显下降?
回答 2:英伟达 SEED 不会改动、不重新训练基座模型,原始权重保持冻结,只新增轻量发射组件,在 5 个混合大模型、11 项官方考试评测中,精度几乎没有损失。
问题 3:英伟达 SEED 的循环状态压缩,会不会压缩常规的注意力 KV Cache?
回答 3:不会,英伟达 SEED 只压缩循环状态,不压缩注意力 KV Cache,所以在 KV Cache 占用显存为主的超长文本任务里,SEED 带来的吞吐提升效果会比较有限。
问题 4:英伟达 SEED 最高 42% 吞吐提升,是在什么硬件、模型和负载下测出来的?
回答 4:英伟达 SEED 最高 42% 吞吐提升,是在 GB300 GPU、SGLang 推理框架、Qwen3.8-Flash-Next 模型、Agent 编码会话负载下测得,浅层预填充和状态压缩两项优化同时开启才能达到该峰值。
【参考资料】
[2026-11-19](写入记忆,何必读完整个网络?英伟达 SEED 每 GPU 吞吐最高提升 42%)新浪财经
[2026-11-19](英伟达 SEED:Shallow Encoding Emits Deep Memories 技术解读)机器之心
[2026-11-04](Shallow Encoding Emits Deep Memories)arXiv
[2026-11-19](SEED 大模型推理优化,Agent 场景显著降显存)AI 科技评论
[2026-11-19](Qwen3.8-Flash-Next 搭载 SEED 性能测试详情)36 氪
【免责声明】
本文内容仅为英伟达 SEED 技术论文成果的资讯解读,不构成推理框架选型、算力采购建议。42% 吞吐提升为特定硬件、模型、负载下的峰值测试结果,不同业务 workload 实际收益差异较大;SEED 相关代码尚未正式开源落地,生产环境使用效果待验证。资讯版权归英伟达、arXiv 及对应媒体所有。
