这篇 VLM 记忆机制最新综述是专门针对视觉语言模型记忆体系的系统性调研,跳出以往只按模型结构、任务类型归类的思路,提出 When、Where、What、How 四维分类框架,用来统一对比市面上各类带记忆能力的 VLM 方案,解决行业缺少统一评测、统一设计范式的问题,这套框架覆盖记忆的时间范围、存储位置、存储内容、读写运维全流程,同时梳理了长视频推理、多模态对话、机器人具身智能等落地场景,还点明当前在记忆一致性、遗忘机制、持续学习、评测基准上还存在不少待解决的技术难点,对后续做 VLM 智能体、具身机器人的记忆模块设计有很强参考价值。
四维框架详细解读
- When(时间维度,时间范围):定义记忆可以保留多久、什么时候失效。分为瞬时上下文记忆、短期记忆、长期记忆;瞬时记忆就是模型原生上下文窗口,会话结束就清空;短期记忆保存单轮任务内的事件;长期记忆跨会话持久保存,需要设计遗忘、压缩策略。
- Where(位置维度,存储载体):记忆存放的逻辑或者物理位置。分为模型原生上下文、外挂向量库、独立记忆模块、隐状态缓存;原生上下文成本最低但受长度限制,外挂向量库最常用,独立记忆模块可以和 VLM 主干解耦。
- What(内容维度,存储实体):记忆里存的是什么形式信息。包含图像特征、视频帧、文本摘要、多模态嵌入、事件元数据、物体位置、交互轨迹;可以是原始感知数据,也可以是压缩后的语义、事件摘要。
- How(操作维度,运行机制):记忆写入、检索、合并、更新、淘汰的整套流程。包含编码、写入、检索、整合、衰减、遗忘;主流方案有相似度检索、基于注意力的隐式记忆、记忆压缩、定期整理合并、LRU 淘汰策略。
主流 VLM 记忆实现路线清单
- 上下文拼接路线:直接把历史图文、摘要追加进 prompt,实现最简单,上限受上下文长度限制
- 向量检索增强路线:多模态 Embedding 入库,查询时召回相关历史,是现在 VLM 智能体最主流方案
- 独立隐记忆模块:新增专用记忆编码器,在模型前向推理时注入记忆隐向量,不改动主干大结构
- 循环状态记忆:用 RNN、状态向量持续维护场景状态,适合视频流、机器人连续观测场景
典型应用场景
- 长视频问答:跨长时间片段定位事件、跟踪物体变化
- 多轮多模态对话:记住跨轮次用户偏好、之前看到的图片信息
- 具身智能机器人:记住物体位置、之前操作历史、环境变化
- 数字孪生、多模态智能体:持续累积环境交互经验
现存挑战(综述总结)
- 记忆漂移:长时间累积之后,记忆内容和真实场景出现偏差
- 检索噪声:召回无关记忆,干扰模型推理
- 评测缺失:缺少统一、标准的 VLM 记忆评测基准
- 算力成本:长期记忆持续读写、检索会带来额外开销
- 遗忘难控制:很难做到像人一样选择性遗忘不重要信息
【常见问题】
问题 1:VLM 记忆机制最新综述从 When, Where, What, How 四个维度看懂记忆,这四个维度分别代表什么含义?
回答 1:VLM 记忆机制最新综述从 When, Where, What, How 四个维度看懂记忆,When 代表记忆有效时间范围,Where 代表记忆存储位置,What 代表存储信息类型,How 代表记忆读写、检索、更新的操作机制。
问题 2:VLM 记忆机制最新综述从 When, Where, What, How 四个维度看懂记忆,这篇综述为什么提出这套四维框架?
回答 2:VLM 记忆机制最新综述从 When, Where, What, How 四个维度看懂记忆,是为了解决 VLM 记忆方案杂乱、缺少统一分类标准的问题,方便研究者横向对比不同记忆架构。
问题 3:VLM 记忆机制最新综述从 When, Where, What, How 四个维度看懂记忆,现在 VLM 记忆最常用的实现方案是什么?
回答 3:VLM 记忆机制最新综述从 When, Where, What, How 四个维度看懂记忆,向量检索增强是目前 VLM 智能体、长视频场景里落地最多的记忆方案。
问题 4:VLM 记忆机制最新综述从 When, Where, What, How 四个维度看懂记忆,这套四维框架可以支撑哪些下游任务?
回答 4:VLM 记忆机制最新综述从 When, Where, What, How 四个维度看懂记忆,可支撑长视频推理、多模态持续对话、具身机器人、多模态 AI 智能体等需要长期视觉历史的任务。
问题 5:VLM 记忆机制最新综述从 When, Where, What, How 四个维度看懂记忆,综述指出 VLM 记忆目前有哪些核心难点?
回答 5:VLM 记忆机制最新综述从 When, Where, What, How 四个维度看懂记忆,主要难点包含记忆漂移、检索噪声、统一评测基准缺失、算力开销、可控遗忘难以实现。
【参考资料】
[2026-07-20](Memory in Vision-Language Models: Taxonomy, Mechanisms, and Applications)Preprints.org
[2026-10-08](VLM 记忆机制综述解读:四维分类体系)机器之心
[2026-09-12](多模态记忆的四类实现范式与评测难点)AI 科技评论
[2026-08-05](面向具身智能的 VLM 长期记忆设计思路)arxiv
【免责声明】
本文信息来自 VLM 记忆机制公开综述论文和行业解读文章,VLM 记忆机制的四维框架属于学术分类视角,不同厂商自研 VLM 记忆模块实现方案差异较大;本文仅做技术综述解读,不构成模型选型、算法开发项目落地建议。
