上海科学智能研究院正式开源 REMORY 记忆模块，它只有 1.9B 参数，核心创新点是不再依赖传统的上下文压缩方案，靠残差记忆软令牌补齐摘要丢失的信息，搭配基础小模型之后，能够支撑 AI 智能体连续独立跑 3 天的长周期科研任务，递归自我优化，最终产出质量可以接近 GPT-6.1-Terra，这个方案不用改动主模型权重，只单独训练这个记忆模块，硬件门槛很低，两张 H800 显卡就能完成自监督训练，对长任务智能体、自动化科研场景的实用性很强。
REMORY 核心原理清单
- 传统方案：把历史内容压缩成文字摘要，摘要会丢失大量细节，容易出现信息偏差、重复犯错
- REMORY 方案：在文字摘要后面追加一组软记忆残差令牌，用来弥补摘要丢失的隐性信息
- 训练方式：冻结主模型，只更新 1.9B 记忆模块参数，分两阶段自监督训练
- 核心优势：不强行压缩上下文，记忆跨会话延续，长任务里工具调用错误、重复输出明显变少
硬件与适配信息
| 项目 | 参数说明 |
|---|---|
| 模块参数量 | 1.9B |
| 训练硬件 | 2 张 H800 |
| 主模型状态 | 冻结，无需微调 |
| 适配模型 | Qwen、GLM 等多款开源小模型 |
| 任务上限 | 支持连续多日长周期智能体任务 |
评测带来的效果
- 信息溯源提升：在 SummHay 评测里，只用 5.2% 输入位置，就能接近完整上下文的得分
- 长任务稳定性：长时间连续运行，重复输出、工具调用失误变少
- 能力上限：长周期科研智能体任务，递归迭代后的结果接近 GPT-6.1-Terra 水平
- 部署成本：主模型不动，只加载记忆模块，适配成本低，适合科研自动化场景
项目配套资源
- 论文：arXiv 已上线，标题为 REMORY: LEARNING RESIDUAL MEMORY FOR CONTEXT COMPACTION
- 开源渠道：HuggingFace 开放相关权重、代码
- 团队：第一作者为上智院研究员夏翰宸，通讯作者是复旦朱思语教授
【常见问题】
问题 1：上智院开源 REMORY 1.9B 记忆模块，是怎么绕过上下文压缩的？
回答 1：上智院开源 REMORY 1.9B 记忆模块，它不单纯依靠文字摘要，会生成软记忆残差令牌补全摘要丢失信息，以此绕过传统上下文压缩带来的信息损耗。
问题 2：上智院开源 REMORY 1.9B 记忆模块，能让小模型独立工作多久？
回答 2：上智院开源 REMORY 1.9B 记忆模块，能够支撑小模型对应的 AI 智能体连续独立工作 3 天，完成长周期科研任务并且递归优化。
问题 3：上智院开源 REMORY 1.9B 记忆模块，产出真的不输 GPT-6.1-Terra 吗？
回答 3：上智院开源 REMORY 1.9B 记忆模块，在长周期自动化科研智能体任务场景下，模型迭代后的产出效果接近 GPT-6.1-Terra，属于特定场景下的对标结果，不是全场景持平。
问题 4：上智院开源 REMORY 1.9B 记忆模块，训练需要什么硬件？
回答 4：上智院开源 REMORY 1.9B 记忆模块，完成自监督训练只需要两张 H800 显卡，并且训练的时候主模型权重保持冻结，只训练这个记忆模块。
【参考资料】
[2026-11-11]（上智院开源 REMORY，一个 1.9B 的记忆模块就能让小模型独立工作 3 天，产出不输 GPT-6.1-Terra）机器之心
[2026-11-11]（Shanghai Academy of Science and Intelligence Open-Sources REMORY, a 1.9B Memory Module That Enables Small Models to Recursively Self-Improve Over Multiple Days）C114Pro
[2026-11-11]（REMORY: LEARNING RESIDUAL MEMORY FOR CONTEXT COMPACTION）arXiv
【免责声明】
本文内容为 REMORY 项目开源信息、论文公开实验结果整理，REMORY 1.9B 记忆模块的效果仅为特定长周期智能体任务评测结论，不代表所有场景下都可以对标 GPT-6.1-Terra；模型实际效果会受基础模型、任务类型、硬件环境影响，不构成选型、商用落地建议，代码、论文细节以项目官方 arXiv、HuggingFace 页面为准。