您的位置首页 >机器人 >

上智院开源 REMORY 1.9B 记忆模块,支持小模型连续 3 天独立工作

上智院(上海科学智能研究院)开源了 REMORY 残差记忆模块,参数规模只有 1.9B,它不靠拉长上下文窗口,用残差记忆软 token 方案解决长周期任务里信息丢失的问题,搭配普通小模型就可以连续独立跑 3 天任务,最终输出效果可以对标 GPT-6.1-Terra,这个方案打破了传统靠摘要压缩上下文容易丢失关键细节的短板。常规长智能体任务处理时,大家大多是把历史对话压缩成文字摘要,摘要会丢失很多隐性细节,模型后续推理很容易跑偏,REMORY 的思路是在摘要之外额外生成一组软记忆残差 token,把摘要丢失的信息补回来,让冻结权重的基础小模型,近似拥有读取全部原始历史上下文的能力。整套运行流程很清晰,先收集全部历史对话与任务记录,生成文本摘要;再交给 REMORY 模块,基于摘要生成固定长度的残差软记忆 token;把摘要和残差 token 拼接在一起喂给主模型做推理;模型产出结果之后,继续迭代更新记忆内容,循环支撑多天连续的递归自优化任务。整套方案训练是自监督模式,主模型参数全程冻结,只训练 1.9B 的 REMORY 记忆模块,硬件门槛也比较友好,两张 H800 显卡就能完成训练。

REMORY 核心能力清单

  1. 残差记忆机制:不依赖单纯文本摘要压缩,补充软记忆 token,减少信息损耗
  2. 长周期支撑:支持 AI 智能体连续 3 天不间断开展递归自改进任务
  3. 低耦合接入:主模型权重冻结,REMORY 作为外挂记忆模块,适配多款小模型
  4. 训练成本低:1.9B 参数量,两张 H800 即可完成自监督训练
  5. 效果对标:长周期任务输出质量接近 GPT-6.1-Terra

和传统上下文压缩方案对比

方案核心做法缺点
传统摘要压缩把历史内容浓缩成文字摘要丢失隐性细节,长任务容易推理出错
REMORY 残差记忆摘要 + 可学习软记忆残差 token保留关键隐信息,维持长任务一致性

开源获取渠道

  • GitHub 开源仓库
  • HuggingFace 论文主页
  • 星河启智平台可体验 Demo

【常见问题】

问题 1:上智院 REMORY 1.9B 记忆模块是什么?

回答 1:上智院 REMORY 1.9B 记忆模块是一款残差记忆神经网络,用来弥补上下文摘要压缩带来的信息损失,外挂在小模型上使用,让小模型能够连续 3 天独立运行长周期任务。

问题 2:上智院 REMORY 1.9B 记忆模块为什么能让小模型连续工作 3 天?

回答 2:上智院 REMORY 1.9B 记忆模块不靠无限扩大上下文窗口,通过残差软 token 留存摘要丢失的细节信息,持续给模型提供稳定的历史记忆支撑,保障多天递归任务不会遗忘关键信息。

问题 3:用上智院 REMORY 1.9B 记忆模块之后效果真的不输 GPT-6.1-Terra 吗?

回答 3:在长周期智能体递归任务评测里,搭配上智院 REMORY 1.9B 记忆模块的小模型产出结果接近 GPT-6.1-Terra 水平,不是所有场景都全面超越,主要优势集中在多天连续自主任务场景。

问题 4:上智院 REMORY 1.9B 记忆模块好部署吗?

回答 4:上智院 REMORY 1.9B 记忆模块属于外挂式记忆组件,主模型权重不需要改动冻结即可接入,训练仅需两张 H800,已经开源,开发者可以直接拉取代码二次开发。

【参考资料】

[2026-11-12](越过上下文压缩,上智院开源 REMORY,一个 1.9B 的记忆模块就能让小模型独立工作 3 天,产出不输 GPT-6.1-Terra)机器之心

[2026-11-11](Shanghai AI4S open-sources REMORY, a 1.9B memory module for recursive self-improvement)C114Pro

[2026-11-11](越过上下文压缩,上智院开源 REMORY,一个 1.9B 的记忆模块就能让小模型独立工作 3 天,产出不输 GPT-6.1-Terra)东方财富网财富号

[2026-10-08](REMORY: LEARNING RESIDUAL MEMORY FOR CONTEXT COMPACTION)arXiv

【免责声明】

本文内容整理自公开论文与媒体报道,上智院 REMORY 1.9B 记忆模块的实测性能、适配范围、落地效果受硬件、基座模型、任务类型影响;本文仅做技术科普,不构成项目开发、采购、投资建议,最终以项目官方论文、仓库文档为准。

今日大家都在搜的词: