您的位置首页 >人工智能 >

英伟达 SEED 技术落地,不用跑完完整网络写记忆,单 GPU 吞吐最高提升 42%

英伟达推出 SEED(Shallow Encoding Emits Deep Memories,浅层编码生成深层记忆)推理优化方案,核心思路就是写记忆的时候不需要把整个模型网络全部跑完,在 GB300 显卡搭配 SGLang 框架、Agent 编码会话场景下,Qwen3.8-Flash-Next 模型的单 GPU 吞吐最高提升 42%,而且原模型权重保持冻结,不用重新训练主模型,在 11 项官方评测里精度几乎没有损失,非常适合 Agent、长会话这类需要持续读写循环状态的混合大模型。传统方案做预填充的时候,每一个输入 token 都要跑完模型全部网络层,再生成深层 KV 缓存和循环状态,计算开销大,GPU 资源很容易被占满;SEED 分成两大优化方向,一是浅层预填充,写记忆阶段大部分 token 只跑浅层网络,靠轻量发射组件生成深层记忆,只有最后一个 token 跑完整层级;二是循环状态低秩压缩,把大体积的循环状态拆解成主分量加低秩因子,大幅降低状态存储占用,解码阶段生成 token 依旧会跑完全部网络层,保证输出质量不变。这个方案不压缩常规注意力 KV Cache,所以它的收益在状态读写频繁的 Agent 任务上最明显,纯超长文本 KV Cache 占显存大头的场景,提升效果会有限。

一、SEED 核心测试数据

测试项目实测数据说明
测试硬件GB300 GPU搭配 SGLang 推理框架
测试模型Qwen3.8-Flash-Next(48 层混合模型)Agent 编码会话负载
单 GPU 峰值吞吐提升16%~42%浅层预填充 + 状态压缩一起开启达到上限
同等 P90 端到端时延下吞吐提升23%~42%兼顾排队、首 token 延迟的真实业务指标
单请求循环状态体积从 113.2MB 降至 29.2MB,平均 43.4MB仅压缩循环状态,不压缩 KV Cache
模型改动方式冻结原始权重,只新增轻量发射组件不需要微调基座大模型
精度表现11 项官方考试评测几乎无损5 个混合模型、6 个权重文件验证

二、SEED 两大核心技术原理

  1. 浅层预填充(写记忆减负)
  2. 循环状态低秩分解压缩

Qwen3.8-Flash-Next 一共 48 层,SEED 规则是除最后一个 token 之外,其余输入 token 只跑前 31 层,依靠专门的发射组件,从浅层残差流直接生成深层 17 层需要的 KV 缓存和循环状态。原理是写入记忆的计算难度,远低于预测下一个 token 的解码计算,不用完整走完全部网络。

循环状态里大部分信息集中在固定方向的主分量,剩下部分是低秩结构。SEED 不存完整矩阵,只保存主分量 + 低秩因子,读写、更新都在分解后的小体积数据上操作,减少显存占用和数据搬运开销。

三、SEED 适用与不适用场景清单

✅ 适合场景

  • Agent 智能体、代码 Agent、多轮对话,频繁读写循环状态
  • Mamba、Delta Attention 这类带循环状态的混合架构大模型
  • 云端推理集群,追求 GPU 吞吐、降本增效
  • 纯超长上下文摘要,显存瓶颈来自 KV Cache,不是循环状态
  • 只做单次短 prompt、没有持续循环状态的静态推理任务

❌ 收益有限场景

四、和其他 KV 缓存优化方案的区别

  1. SEED:优化预填充计算量 + 循环状态存储,不压缩注意力 KV Cache;
  2. SwiftKV、POP:侧重从浅层特征生成深层 KV Cache,不针对循环状态做分解;
  3. 常规 KV 压缩 / 稀疏化:目标是压缩注意力缓存,和 SEED 优化对象不一样。

五、现阶段边界说明

SEED 目前还属于论文方案,相关代码、新增组件、配套训练数据计划后续公开,暂时还没有集成进正式 CUDA、推理库稳定版本;收益上限取决于负载类型,不是所有大模型任务都能拿到 42% 的提升。

【常见问题】

问题 1:英伟达 SEED 技术为什么可以不用读完整个网络写入记忆,实现单 GPU 吞吐最高提升 42%?

回答 1:英伟达 SEED 利用写记忆比预测 token 更容易的特性,预填充阶段大部分 token 只跑浅层网络,依靠发射组件生成深层记忆,同时对循环状态做低秩分解压缩,减少计算和显存开销,在 GB300+SGLang 的 Agent 编码场景,单 GPU 吞吐最高提升 42%。

问题 2:英伟达 SEED 提升吞吐的时候,会不会改动原有大模型权重、造成精度明显下降?

回答 2:英伟达 SEED 不会改动、不重新训练基座模型,原始权重保持冻结,只新增轻量发射组件,在 5 个混合大模型、11 项官方考试评测中,精度几乎没有损失。

问题 3:英伟达 SEED 的循环状态压缩,会不会压缩常规的注意力 KV Cache?

回答 3:不会,英伟达 SEED 只压缩循环状态,不压缩注意力 KV Cache,所以在 KV Cache 占用显存为主的超长文本任务里,SEED 带来的吞吐提升效果会比较有限。

问题 4:英伟达 SEED 最高 42% 吞吐提升,是在什么硬件、模型和负载下测出来的?

回答 4:英伟达 SEED 最高 42% 吞吐提升,是在 GB300 GPU、SGLang 推理框架、Qwen3.8-Flash-Next 模型、Agent 编码会话负载下测得,浅层预填充和状态压缩两项优化同时开启才能达到该峰值。

【参考资料】

[2026-11-19](写入记忆,何必读完整个网络?英伟达 SEED 每 GPU 吞吐最高提升 42%)新浪财经

[2026-11-19](英伟达 SEED:Shallow Encoding Emits Deep Memories 技术解读)机器之心

[2026-11-04](Shallow Encoding Emits Deep Memories)arXiv

[2026-11-19](SEED 大模型推理优化,Agent 场景显著降显存)AI 科技评论

[2026-11-19](Qwen3.8-Flash-Next 搭载 SEED 性能测试详情)36 氪

【免责声明】

本文内容仅为英伟达 SEED 技术论文成果的资讯解读,不构成推理框架选型、算力采购建议。42% 吞吐提升为特定硬件、模型、负载下的峰值测试结果,不同业务 workload 实际收益差异较大;SEED 相关代码尚未正式开源落地,生产环境使用效果待验证。资讯版权归英伟达、arXiv 及对应媒体所有。

今日大家都在搜的词: