您的位置首页 >科技要闻 >

VLM 记忆机制综述从 When、Where、What、How 四个维度解析多模态记忆

这篇 VLM 记忆机制最新综述提出了一套四维度分类框架,用 When(时间范围)、Where(存储位置)、What(存储内容)、How(读写操作)统一梳理当前视觉语言模型记忆方案,解决了之前各类记忆方案杂乱、不好横向对比的问题;现在 VLM 做长视频理解、具身智能、长期多轮对话的时候,最大短板就是记忆,单纯靠上下文窗口、KV 缓存很容易出现遗忘、信息溢出、混淆相似画面,所以业内开始大量外挂独立记忆模块,综述把五花八门的方案装进这四个维度里面,方便开发者快速选型、定位记忆失效原因,大家做 VLM Agent、机器人视觉、长视频分析的时候,可以对照这套框架判断自己的记忆系统该怎么设计、优化检索和遗忘策略。

一、四大维度核心定义表

维度英文核心含义典型技术方案
When时间维度记忆生效的时间跨度,区分短期、会话级、长期记忆KV 缓存、上下文窗口、跨会话持久记忆、情景时序记忆
Where存储位置记忆信息存在哪里,是模型内部参数还是外部存储模型参数、隐状态 / 激活缓存、独立记忆库、向量数据库、图结构存储
What内容维度到底存什么类型的多模态信息原始帧 / 视频 token、语义摘要、实体、场景图、用户偏好、事件记录
How操作维度记忆的全生命周期流程:编码、写入、检索、合并、遗忘、更新RAG 检索、记忆压缩、重要性打分、记忆合并、衰减遗忘、事件召回

二、各维度详细解读清单

When(时间:什么时候记忆有效)

  1. 短期记忆:单次上下文窗口内,KV 缓存,窗口满了就丢失,适合短视频、单轮问答
  2. 会话记忆:一次对话 / 一段视频任务全程,会话结束后清空,适合单次交互
  3. 长期记忆:跨会话持久保存,带时间戳、事件标签,适合机器人、长期个性化 Agent
  4. 时序约束:处理事件先后顺序,区分 “先发生、后发生”,解决视频里事件混淆问题

Where(位置:存在哪里)

  1. 内置记忆:藏在模型参数、Transformer 隐状态里,不需要额外数据库,但是容量上限低
  2. 外部独立记忆库:向量库、图数据库、键值存储,容量可以无限扩容,现在主流方案
  3. 混合存储:高频重要信息放缓存,低频历史放到外部向量库,兼顾速度和容量

What(内容:存什么信息)

  1. 原始观测:原图、视频片段、原始视觉 token,保真度高,但是占用空间巨大
  2. 语义摘要:文本总结、事件描述,体积小,但是丢失细节,容易丢失视觉信息
  3. 结构化实体记忆:物体、位置、属性、关系,构建场景图,适合具身导航、跟踪任务
  4. 用户侧记忆:用户习惯、偏好、历史指令,用于个性化 VLM 交互

How(方式:怎么读写维护)

  1. 编码:把图片、视频帧转成向量或者摘要,写入记忆
  2. 检索:根据当前查询,相似度匹配召回相关记忆
  3. 整合:召回内容和当前输入一起送入 VLM 推理
  4. 遗忘 / 压缩:按时间衰减、重要性打分,删掉不重要记忆,控制总量,防止记忆爆炸
  5. 合并:相似事件自动合并,减少重复存储

三、综述覆盖的典型应用场景清单

  • 长视频推理:几十分钟、几小时视频问答,记住前面发生的事件
  • 具身智能 / 机器人:移动过程记住物体位置、之前操作、环境变化
  • 多模态 Agent:长期和用户对话,记住用户历史需求、偏好
  • 视频理解与剪辑:跨片段检索、事件溯源
  • 自动驾驶感知记忆:跟踪目标、遮挡后重识别

四、当前 VLM 记忆机制现存痛点清单

  1. 检索不准:相似画面容易误召回,分不清 “长得像但是不一样的物体”
  2. 记忆爆炸:持续输入画面,存储量持续上涨,检索速度越来越慢
  3. 时序混乱:分不清事件先后,回答出现时间顺序错误
  4. 模态错位:文本摘要和原始视觉信息脱节,摘要写错、丢失关键画面细节
  5. 缺少统一评估标准:不同记忆方案很难公平对比好坏

【常见问题】

问题 1:VLM 记忆机制最新综述用 When、Where、What、How 四个维度,这四个维度分别解决 VLM 记忆的什么问题?

回答 1:VLM 记忆机制最新综述用 When、Where、What、How 四个维度,When 用来划分记忆有效时长,Where 确定存储载体,What 定义存储的多模态信息类型,How 管控记忆的写入检索遗忘全流程,统一框架用来对比各类 VLM 记忆方案。

问题 2:基于 When、Where、What、How 这套 VLM 记忆框架,外部向量库记忆属于哪个维度?

回答 2:基于 When、Where、What、How 这套 VLM 记忆框架,外部向量库属于 Where(存储位置)这个维度,是现在长期 VLM 记忆最常用的外部存储方案。

问题 3:VLM 记忆机制最新综述里的 How 维度,遗忘操作有什么作用?

回答 3:VLM 记忆机制最新综述里的 How 维度,遗忘操作是用来控制记忆总量,自动清理不重要的历史画面、事件,避免记忆无限膨胀,同时降低检索延迟。

问题 4:按照 When、Where、What、How 四维度 VLM 记忆框架,KV 缓存属于哪一类记忆?

回答 4:按照 When、Where、What、How 四维度 VLM 记忆框架,KV 缓存属于 When 维度里的短期记忆,存储在模型内部激活缓存,只能在当前上下文窗口生效,无法跨会话持久保存。

【参考资料】

[2026-07-20](Memory in Vision-Language Models: Taxonomy, Mechanisms, and Applications)Preprints.org

[2026-06-10](多模态 VLM 记忆综述:长视频与具身智能记忆体系梳理)机器之心

[2026-05-20](Vision-Language Model Memory Survey 2026:When, Where, What, How)arXiv

[2026-04-02](面向具身智能的 VLM 长期记忆设计与评测)AI 前线

[2025-12-05](VLM 长上下文与外挂记忆方案对比)36 氪

【免责声明】

本文仅对 VLM 记忆机制综述内容进行资讯整理,综述观点、分类框架、实验结论均以原论文为准;VLM 记忆方案还处在快速迭代阶段,落地效果受模型底座、向量库、检索策略影响,本文内容不构成技术选型唯一标准,项目落地请自行复现验证。

今日大家都在搜的词: