您的位置首页 >人工智能 >

VLM 记忆机制最新综述When、Where、What、How 四维框架梳理视觉语言模型记忆体系

这篇最新 VLM 记忆综述提出一套四维度分类框架,用 When(记忆的时间范围)、Where(记忆存放位置)、What(记忆存储内容)、How(记忆读写与运维流程)来统一归类当前所有 VLM 记忆方案,跳出单纯按模型架构划分的老思路,把长视频推理、多轮对话、具身智能机器人里五花八门的记忆设计放在同一个标尺对比;传统 VLM 默认只有上下文窗口内的 KV 缓存,属于短时记忆,超出窗口就遗忘,而新增记忆模块就是为了解决长时序视频、跨会话交互、机器人长期任务里的信息丢失问题,综述把各类记忆方案拆进四个正交维度,同时整理了评测基准、现存短板和未来方向,方便开发者选择适合自己场景的记忆架构,这套四维框架也是目前第一篇专门面向 VLM 记忆的系统性综述提出的分类体系。

四维框架基础清单

  • When:时间维度,区分短时工作记忆、中期情景记忆、长期持久记忆
  • Where:存储位置维度,分为模型参数内隐记忆、上下文 KV 缓存、外部独立记忆库
  • What:存储内容维度,原始多模态观测、结构化事件摘要、实体图谱、抽象规则知识
  • How:操作流程维度,编码、写入、合并巩固、检索、更新、遗忘整套生命周期

四个维度对比表

维度核心含义典型方案适用场景
When(时间)记忆能保留多久、什么时候失效上下文窗口(秒级)、会话情景记忆(单次对话)、跨会话长期记忆(永久留存)长视频理解、机器人长期任务、用户个性化对话
Where(存放位置)信息存在哪里模型权重、KV Cache、向量库 / 图数据库 / 独立 Memory Bank低成本快速推理、海量历史检索、Agent 长期交互
What(存什么)保存的信息粒度原图 / 视频帧、文本摘要、实体关系图、目标状态精细视觉核验、快速检索、环境状态跟踪
How(怎么运转)记忆增删改查逻辑RAG 检索读取、分层巩固、动态淘汰、合并更新持续流式输入、无限长时序任务

四个维度详细解读

When:时间范围,记忆的生命周期

短时工作记忆就是原生上下文窗口和 KV 缓存,只在单轮推理过程有效,窗口满了就丢失;中期情景记忆绑定单次交互、单段视频,保存本次任务里发生的事件,会话结束后可以选择归档或者丢弃;长期持久记忆跨会话保存,记录用户偏好、物体长期状态、环境地图,多用于个性化 VLM Agent、机器人导航。很多混合方案会多层搭配,短时负责当前帧推理,长期负责跨轮召回。

Where:存储位置,记忆载体选择

第一种是参数内隐记忆,知识直接沉淀在模型权重里,不需要额外检索,但很难修改、无法人工查看;第二种是上下文 KV 缓存,推理时临时存放视觉文本 token,速度最快,但是容量受上下文上限约束;第三种是外部独立记忆库,向量库、图数据库、专用记忆 Bank,容量几乎不受限,可以随时增删,缺点是多了检索开销,现在主流 VLM 记忆 Agent 基本都采用外部存储路线。

What:存储内容,信息粒度取舍

原始观测类直接保存图像帧、视频切片、视觉 token,保真度最高,但是存储成本巨大;摘要事件类把画面压缩成文本 + 少量视觉特征,体积小检索快,代价是丢失细节;实体 / 场景图谱类记录物体、位置、状态和相互关系,适合机器人、环境跟踪;抽象规则类存储任务流程、通用常识,偏向程序性记忆。工程上大多做混合存储,重要细节保留原图,普通事件存摘要。

How:运转流程,记忆全生命周期

第一步编码,把图片、视频、对话转成向量或者结构化记录;第二步写入,判断信息是否值得存,避免垃圾信息塞满记忆;第三步巩固合并,相似事件去重、更新实体状态;第四步检索,根据当前查询召回相关记忆;第五步更新或者遗忘,过期、冲突信息做淘汰或者修正。很多方案引入重要性打分机制,不重要的记忆慢慢衰减,模拟人脑遗忘机制。

主流 VLM 记忆方案归类

✅ 原生长上下文 VLM:记忆只落在 When 和 Where,靠超大 KV 缓存,没有独立的 How 管理逻辑,超长视频容易出现信息稀释

✅ RAG 式视觉记忆:外部向量库存储图文摘要,重点强化 How 检索环节,是现在最成熟的落地路线

✅ 实体中心记忆:What 维度用物体实体图谱,适合跟踪物体位置、状态变化,机器人领域常用

✅ 分层认知记忆:同时搭建短时感知记忆 + 长期语义记忆,兼顾细节保真和检索效率,VisMem 这类方案属于这个路线

当前公开的痛点和挑战

  1. 权衡难题:存原始画面太贵,存摘要又容易丢失关键视觉细节,也就是保真度和存储成本冲突
  2. 检索漂移:图文向量相似度匹配不准,召回看似相关、实际无关的记忆
  3. 缺少统一评测:各个论文用自己的数据集,很难横向对比不同记忆机制好坏
  4. 动态环境难处理:物体位置变化、场景改动之后,旧记忆容易变成错误信息,需要自动校验更新

【常见问题】

问题 1:VLM 记忆机制最新综述,从 When, Where, What, How 四个维度看懂记忆,这四个维度分别代表什么?

回答 1:VLM 记忆机制最新综述,从 When, Where, What, How 四个维度看懂记忆,When 代表记忆的时间保留范围,Where 代表记忆存放位置,What 代表记忆存储的信息内容,How 代表记忆编码、检索、更新、遗忘的整套操作流程。

问题 2:VLM 记忆机制最新综述,从 When, Where, What, How 四个维度看懂记忆,VLM 原生 KV 缓存属于哪一类记忆?

回答 2:VLM 记忆机制最新综述,从 When, Where, What, How 四个维度看懂记忆,KV 缓存属于短时工作记忆,When 上只在单次推理生效,Where 存放在上下文激活缓存里,没有独立的长期记忆管理能力。

问题 3:VLM 记忆机制最新综述,从 When, Where, What, How 四个维度看懂记忆,外部向量记忆库方案优势是什么?

回答 3:VLM 记忆机制最新综述,从 When, Where, What, How 四个维度看懂记忆,外部向量记忆库 Where 独立于模型,容量不受上下文窗口限制,支持跨会话长期记忆,支持人工增删,适合 VLM Agent、长视频持续分析场景。

问题 4:VLM 记忆机制最新综述,从 When, Where, What, How 四个维度看懂记忆,这套四维框架能解决什么问题?

回答 4:VLM 记忆机制最新综述,从 When, Where, What, How 四个维度看懂记忆,框架用来统一对比五花八门的 VLM 记忆论文,不再按模型名字零散理解,方便研究者、工程师根据任务需求挑选记忆架构,定位记忆失效环节。

【参考资料】

[2026-09-03](Memory in Vision-Language Models: Taxonomy, Mechanisms, and Applications v2)Preprints.org

[2026-07-15](Memory in Vision-Language Models: Taxonomy, Mechanisms, and Applications v3)Preprints.org

[2025-11-11](VisMem: Latent Vision Memory Unlocks Potential of Vision-Language Models)arXiv

[2025-05-04](Towards a Vision-Language Episodic Memory Framework)arXiv

【免责声明】

本文基于 VLM 记忆机制公开综述论文整理,When、Where、What、How 四维框架属于学术分类视角,不同 VLM 记忆实现方案效果受模型基座、检索策略、数据质量影响较大,内容仅为学术科普,不构成多模态 Agent 项目落地选型的唯一依据。

今日大家都在搜的词: