REMORY 残差记忆模块：1.9B 参数辅助小模型跨上下文长任务工作梳理
REMORY 是上海科学智能研究院（上智院）联合上海创智学院、复旦大学团队公开的一项神经记忆网络研究，针对智能体上下文压缩（如 Codex CLI、Claude Code 内置的 /compact）只保留文字概要、容易丢失关键细节的问题，在概要之后附加一组有界的软记忆残差 token，帮助冻结的主模型在压缩边界之后，尽量还原它在完整历史下会给出的后续行为。训练全程冻结主模型权重，只更新记忆模块参数：适配 Qwen3.8-27B 的记忆网络约 1.94B 可训练参数，用两张 H800 完成完全自监督训练；在 BrowseComp、Terminal-Bench 2.1、AutomationBench、JobBench 等同一基模对照评测中，加入残差记忆后得分提升、工具报错和重复输出下降、多数场景生成开销减少。在跨数日的自动化科研协作中，该模块用于延续文献阅读、实验搭建、结果分析和方法修订之间的跨阶段记忆，报道称其产出接近 GPT-6.1-Terra。需要先说明口径：前沿模型对照图并非受控实验，主要证据来自同一基模加 / 不加残差记忆的内部对照；论文与研究方法已公开，代码、权重获取入口和许可仍需以官方仓库为准，现阶段不能直接按 "权重已可本地部署" 来安排使用。
一、要解决的问题：上下文压缩为什么会丢记忆
- 长任务智能体的上下文窗口有限，随着观察、工具输出和决策不断累积，必须压缩历史才能继续工作；常见做法是把早期交互替换成一段文字概要，作为恢复工作的检查点。
- 输入长度呈 "锯齿状" 变化：随交互增长、压缩时骤降、再重新增长。概要保留了主线，但未必能支撑后续每一个决策；随着任务推进，早期上下文的相关性会变化，需要的信息往往无法提前枚举。
- 摘要方式的直接后果是：工具报错反复出现、重复输出增多、压缩后需要重新找回工作状态。REMORY 要改善的，正是贯穿长任务的记忆接续能力，而不是单纯把上下文窗口做大。
二、REMORY 的方法与架构
1. 残差记忆的构造
- 在压缩边界，记忆网络同时读取此前的概要 / 残差记忆与新增交互，以新生成的概要为条件，构造一组软记忆向量 M，长度有上限。
- 这组向量是连续向量形式的软记忆，可直接进入主模型输入空间；它与概要拼接（序列维度上类似残差连接），因此被称为概要的 "残差"。
- 精确原始记录仍通过常规归档和文件检索工具获取，REMORY 只补充概要之外的预测性信息，不替代检索。
2. 网络结构与参数规模
| 适配主模型 | 记忆网络架构 | 可训练参数 |
|---|---|---|
| Qwen3.8-27B | DFlash 架构 | 约 1.94B |
| GLM-5.3-Flash（320B MoE） | DFlash-2，分组动态卷积 | 约 1.502B |
- 网络使用冻结的主模型特征和学习到的查询并行预测记忆向量，配门控交叉注意力关注概要。
- 每最多 1024 个源位置生成 64 个软记忆 token；分层压缩把最终记忆限制在 4096 个槽位内，并保持源顺序。
- 训练中梯度穿过冻结的主模型，只更新记忆模块参数，主模型本身不被改动。
3. 两阶段自监督训练
| 阶段 | 目标 | 数据与方法 |
|---|---|---|
| 第一阶段：重建 | 让记忆模块学会保留源信息 | 教师模型拿到原文并复述，学生用软记忆替换原文后做同样预测；使用 MMFineReason-Full2.3M 的文本字段 |
| 第二阶段：概要条件延续 | 以概要为条件，学习延续完整历史所支撑的后续行为 | 教师接收原始交互历史，学生接收固定概要和构造出的记忆，二者预测同一段后续助手回复；用学生到教师的反向 KL 散度优化；数据为推理与编码轨迹，含 Open-PerfectBlend 提示，按前文长度排序成课程 |
- 两阶段共享同一个冻结主模型；记忆编码器在第二阶段不会看到未来回复。
- 论文称整套训练为完全自监督，基模权重冻结，仅记忆参数更新。
三、评测结果（同一基模受控对照口径）
1. 长文档溯源：SummHay
- 评测覆盖 92 条查询、621 条参考洞见；在演员模型、查询、解码和基础概要固定的前提下对比原始上下文、单独概要、等预算文本补充、概要加残差记忆四种表示。
- 加入残差记忆后，引用 F1 提升 4.04 分，联合得分提升 3.55，覆盖率变化 +0.40；在两种概要方式都覆盖到的 553 条洞见上，引用 F1 从 57.31 升到 61.41。
- 平均输入位置：原始上下文 96,872，单独概要 1,393，概要加记忆 5,024；记忆方案只用原始上下文 5.2% 的位置，就接近其联合得分，溯源关联优于等预算的文本补充。
2. 端到端智能体基准
| 主模型 | 基准 | 不加残差记忆 | 加入残差记忆 | 关键变化 |
|---|---|---|---|---|
| Qwen3.8-27B | Terminal-Bench 2.1 | 71.9，每任务 $4.29；重复 459、报错 933 | 76.4，$2.86；重复 377、报错 568 | 得分 +4.5，报错近减半，生成开销约降三分之一 |
| Qwen3.8-27B | BrowseComp | 74.0，$5.39；重复 25,801、报错 25,244 | 77.0，$4.69；重复 18,105、报错 12,698 | 得分 +3.0，报错减少 49.7% |
| GLM-5.3-Flash | Terminal-Bench 2.1 | 84.3 | 87.6 | 得分 +3.3 |
| GLM-5.3-Flash | BrowseComp | 84.9 | 89.0 | 得分 +4.1 |
| Qwen3.8-27B | AutomationBench | 35.5，$0.59 | 45.3，$0.53 | 得分 +9.8 |
| Qwen3.8-27B | JobBench | 33.4，$3.09 | 41.0，$3.21 | 得分 +7.6，单任务成本小幅上升 |
- 四个 "主模型 — 基准" 组合中，重复工具输出下降 17.9%–29.8%，工具错误下降 25.3%–49.7%。
- 成本估算按 2026 年 9 月未缓存提供商费率，把残差位置计入输入；不含源特征编码、记忆网络执行和工具调用成本，衡量的是 token 计价生成开销，不是总执行成本。
3. 压缩后第一个动作偏好
- 从 100 条 Qwen BrowseComp 轨迹中抽取 488 个配对的下一步动作，固定持久提示和概要后比较：残差记忆方案获得 345 次偏好（70.7%），21 次持平（4.3%），122 次落后（25.0%）。
- 该指标评判的是压缩后第一个待执行动作，把记忆通道和后续决策关联起来。
4. 纸面交易场景（参考性结果）
- 两个并行 Qwen 纸面交易账户采用同一上下文策略；截至 9 月 23 日截止，不含残差记忆账户已结算 ROI 为 -11.86%，含残差记忆为 +5.11%；记录生成成本分别为 $303.81 和 $170.30。
- 压缩次数从 56 次降到 45 次，回复数从 5,336 降到 3,013；论文同时提示，两条轨迹在市场选择和时机上存在差异，收益对比受限，不能直接当作交易能力结论。
四、跨数日的自动化科研协作场景
- 团队邀请复旦大学多位交叉领域学者与 REMORY 驱动的自动化科研 co-worker 持续协作，研究者只通过对话给出方向和反馈。
- 跨度数日的会话中，Agent 持续阅读文献、搭建实验、复现基线、分析结果、改进方法并修订论文；每轮上下文压缩产生的数据再被收集起来训练记忆模块，形成自监督迭代和热更新。
- 科研流程横跨文献阅读、假设提出、代码实现、实验分析和方案修订，早先获得的证据、试过的路径和失败经验都会影响下一步判断；REMORY 承担的是在有限上下文窗口内延续跨阶段任务所需的记忆。
- 研究归属：第一作者夏翰宸为上智院研究员，研究方向为 auto research 和智能体记忆；通讯作者朱思语为复旦大学教授、上智院 AI 科学家、上海创智学院全时导师；项目核心开发仅两人。
五、口径边界与使用注意
- 对照性质：论文图中公开前沿模型分数（包括 GPT-6.1-Terra 类参照）使用各自原始 harness 和协议，不属于与本次运行的受控对照；"接近前沿" 的说法来自报道和研究表述，不宜理解为已在同等条件下持平或超越。
- 证据来源：主要增益来自同一基模加 / 不加残差记忆的内部对照，基模权重、harness、提示、工具、解码、预算和压缩策略均保持一致。
- 记忆定位：REMORY 是概要的补充记忆通道，精确记录仍要靠归档检索；它不替代更长上下文窗口，也不替代事实核查。
- 部署状态：论文与方法已在 arXiv 公开；报道称项目开源，但代码仓库、模型权重是否开放、采用何种许可，需要以官方发布渠道为准，在核实之前不能按已开放权重安排本地部署。
- 成本未覆盖项：现有开销估算未计入记忆网络推理、源特征编码和工具调用，实际部署成本需结合自身硬件与调用量另测。
【常见问题】
问题 1：REMORY 这个 1.9B 记忆模块是做什么用的？
回答 1：REMORY 是面向长任务智能体的残差记忆网络，用来弥补上下文压缩只留概要造成的信息丢失。它在概要之后附加一组有界软记忆 token，帮助冻结的主模型在跨过压缩边界后，尽量保持对早期证据和失败经验的记忆；适配 Qwen3.8-27B 的版本约 1.94B 可训练参数，训练时主模型权重冻结，只更新记忆模块。
问题 2：REMORY 为什么说能让小模型独立工作三天，产出接近 GPT-6.1-Terra？
回答 2：在跨数日的自动化科研协作中，REMORY 驱动的 Agent 可持续阅读文献、搭实验、复现基线、分析结果并修订论文，压缩后的数据又回流训练记忆模块；评测显示其在多个智能体基准上得分提升、报错和重复输出下降。需要注意，与 GPT-6.1-Terra 等前沿模型的对比不是受控实验，"接近" 是报道和研究口径，不能理解为同等条件下已经持平或超越。
问题 3：REMORY 和传统上下文压缩、检索记忆是什么关系？
回答 3：三者是互补关系。上下文压缩生成可读的文字概要作为检查点；REMORY 在概要之外补充连续的软记忆残差，承载概要没覆盖到的预测性信息；归档和文件检索仍负责取回精确原始记录。REMORY 不替代长上下文窗口，也不替代对原始资料的检索与核查。
问题 4：REMORY 的训练方式有什么特点，1.9B 参数是怎么来的？
回答 4：训练分两阶段：第一阶段通过内容重建让记忆模块学会保留源信息，第二阶段以概要为条件、用反向 KL 散度学习延续完整历史支撑的后续行为；全程主模型冻结，梯度只更新记忆参数。适配不同主模型的记忆网络规模不同，Qwen 版本约 1.94B、GLM 版本约 1.502B，"1.9B" 对应 Qwen 适配版本的可训练参数。
问题 5：现在可以直接下载 REMORY 权重本地部署吗？
回答 5：论文和研究方法已经公开，报道称项目开源，但代码仓库、权重开放状态和具体许可需要以官方发布渠道为准；在核实权重是否可获取、许可证条款和硬件要求之前，不能按已开放权重模型安排本地部署。实际接入时还需另测记忆网络推理、特征编码和工具调用带来的真实成本。
【参考资料】
- [2026-11-11]（越过上下文压缩，上智院开源 REMORY，一个 1.9B 的记忆模块就能让小模型独立工作 3 天，产出不输 GPT-6.1-Terra）新浪财经（机器之心 Pro）
- [2026-11-11]（Shanghai Academy of Science and Intelligence Open-Sources REMORY, a 1.9B Memory Module That Enables Small Models to Recursively Self-Improve Over Multiple Days）C114Pro
- [2026-10]（REMORY: Learning Residual Memory for Context Compaction）arXiv
【免责声明】
本文基于公开论文、媒体报道与研究材料整理，基准成绩、报错与成本数据均对应论文特定任务集、解码配置和费率口径，不同 harness、提示和硬件环境下结果可能不同；前沿模型对比不属于受控实验，文中 "接近"" 领先 " 等表述均为对应来源口径，不构成性能承诺或投资、采购建议。模型权重、代码与许可状态请以官方仓库和正式发布为准，实际部署前请完成独立测试与合规核实。