英伟达 SEED 技术优先写入记忆,无需读取完整上下文,单 GPU 吞吐最高提升 42%

SEED 全称 Shallow Encoding Emits Deep Memories,是面向大模型长上下文推理的优化方案,核心思路是写记忆的开销远小于读取、重算全