浙江大学与联想团队合作提出 EM²Mem（Event-Centric Multimodal Memory）事件中心多模态记忆框架，用来解决现有多模态智能体长期记忆碎片化的痛点，传统方案只会单独存储视频帧、字幕、文本摘要等零散片段，检索之后还要在推理阶段重新对齐跨模态信息，推理开销大、证据召回不准。EM²Mem 把范式改成先对齐、后检索，在构建记忆的时候就把同一事件下的图像、文本、时间、实体关系绑定到同一个事件锚点，形成结构化记忆单元，配套事件图串联不同经历沉淀长期规律；实测在长视频问答基准测试上，相比最优基线模型，问答准确率提升 2~3.7 个点，事件级证据召回提升 7 个点，推理延迟降低 4.67 倍，推理 Token 总量减少 63.66%。基于 EM²Mem，研究团队还开发了多模态智能体记忆系统 LightMem-Ego，适合个人助手、实验室科研助手场景，支撑智能体持续学习、形成用户个性化记忆，这套成果被 EMNLP 2026 收录。
一、EM²Mem 核心框架要点清单
- 核心范式转变：从传统「先检索，后对齐」，升级为先对齐，后检索，在记忆构建阶段完成跨模态绑定。
- 事件记忆单元：以事件锚点为核心，绑定多模态记录、时间上下文、实体关系图、语义事实、信息来源。
- 事件图构建：通过情景图、语义图串联多个事件，提炼长期行为模式，让 AI 看懂事件之间的关联。
- 配套系统：LightMem-Ego，可部署在多模态智能体，支持持续交互、个性化记忆沉淀。
- 论文收录：EMNLP 2026 Findings，开源代码托管在 GitHub zjunlp/LightMem-Ego。
二、EM²Mem 与传统多模态记忆方案对比表
| 项目 | 传统多模态记忆方案 | EM²Mem 事件中心记忆方案 |
|---|---|---|
| 存储方式 | 单独保存视频帧、字幕、摘要，碎片化存储 | 以事件为锚点，把多模态信息打包成事件记忆单元 |
| 跨模态对齐时机 | 检索完成后，推理阶段临时对齐 | 记忆构建阶段一次性完成对齐绑定 |
| 证据召回能力 | 零散片段召回，事件关联弱 | 事件级证据召回，Top5 召回提升 7 个点 |
| 推理开销 | Token 消耗高、推理延迟大 | 推理 Token 减少 63.66%，延迟降低 4.67 倍 |
| 理解能力 | 只能读取孤立信息，难以理解事件因果 | 依托事件图，理解事件先后、实体关联 |
三、EM²Mem 适用场景
- 长视频问答：长时间监控、纪录片、会议录像的多模态问答检索
- 个人多模态智能助手：保存照片、对话、视频等长期交互记忆，记住用户过往事件
- 科研 / 实验室智能助手：记录实验过程、视频操作记录，跨时间回溯实验事件
- 具身智能体：机器人、穿戴设备持续感知，记录连续发生的事件
四、技术局限与落地注意事项
- 精度取舍：结构化记忆会丢失像素级细粒度视觉细节，比如微小物体、细微色彩变化。
- 场景适配：计算前移到记忆构建阶段，更适合一次性处理视频、多次查询的场景，不适合超高实时性场景。
- 误差传导：依赖上游多模态大模型做图片描述、实体提取，上游识别错误会传递到事件记忆单元。
- 定位：属于记忆层框架，不是完整大模型，需要搭配多模态大模型一起使用。
【常见问题】
问题 1：浙大联想联合提出 EM²Mem 事件中心记忆方案，EM²Mem 的核心创新是什么？
回答 1：浙大联想联合提出 EM²Mem 事件中心记忆方案，EM²Mem 核心创新是切换为先对齐、后检索范式，以事件锚点组织多模态信息，在记忆构建阶段把视频、文本、实体、时间信息绑定到事件单元，不再存储零散碎片，提升证据召回并大幅降低推理开销。
问题 2：浙大联想联合提出 EM²Mem 事件中心记忆方案，EM²Mem 配套的 LightMem-Ego 是什么？
回答 2：浙大联想联合提出 EM²Mem 事件中心记忆方案，LightMem-Ego 是基于 EM²Mem 开发完成的多模态智能体记忆系统，可以部署到个人助手、科研助手场景，支持多模态智能体持续学习，积累个性化长期记忆。
问题 3：浙大联想联合提出 EM²Mem 事件中心记忆方案，EM²Mem 在实验测试上取得哪些量化提升？
回答 3：浙大联想联合提出 EM²Mem 事件中心记忆方案，在三套长视频问答基准上，问答准确率相比基线提升 2.0、2.4、3.7 个点；事件级 Top5 证据召回提升 7 个点，单条查询推理延迟降低 4.67 倍，推理总 Token 减少 63.66%。
【参考资料】
[2026-11-13]（浙大与联想团队联合提出 EM²Mem：打造多模态智能体的事件中心记忆方案）C114Pro
[2026-11-13]（Zhejiang University and Lenovo Team Jointly Propose EM²Mem: An Event-Centric Memory Solution for Multimodal Agents）AIbase
[2026-11-12]（EMNLP 2026｜如何记住发生过的事？EM²Mem 让记忆连接人与经历）凤凰网（机器之心）
[2026-09-01]（EM²Mem: Event-Centric Multimodal Memory for Large Language Models）arXiv
【免责声明】
本文介绍的浙大、联想 EM²Mem 事件中心记忆方案属于学术研究成果，来自 EMNLP 2026 论文与公开技术资讯，尚未大规模商用落地。EM²Mem 为多模态智能体的记忆层框架，性能指标来自论文特定数据集实验，实际效果受上游多模态模型、数据质量、部署硬件影响。本文仅做 AI 技术科普，不构成项目开发、产品采购投资建议。