新的多模态视频记忆评测基准 VideoMemBench 完成 25 个主流大模型的对照测试,Claude Opus 5 综合得分 45.7 分,是本次视频记忆大考里面表现最好的模型,但这个分数距离人类 86.1 分的平均水平差距很大,说明长轮次视频记忆依然是多模态模型的硬短板。这个评测和普通视频问答不一样,不是一问一答独立考题,而是连续多轮对话,后面的问题需要回头引用前面视频画面、还有模型自己之前给出的回答,分为场景依赖、答案依赖两大考核方向,整套测试一共 326 段视频、2476 轮对话,超过一半的题目需要调取更早轮次的信息;第二名是 Gemini 3.8 Flash 拿到 42.4 分,第三名 Kimi K3 拿到 42.2 分,GPT-5.6-sol 41.7 分,国内 Qwen3.5-27B 拿到 34.3 分。分项上 Claude Opus5 场景记忆 52.3 分、对话记忆 49.1 分,但是最难的答案依赖项只有 35.7 分,只要前面一轮回答出错,后面整串关联问题都会跟着答错,轮次拉得越远、需要关联的历史信息越多,模型正确率下滑越明显。哪怕是当前最强的 Claude Opus5,也很难稳定记住长对话里前面看到的画面、自己说过的结论,这也是做视频 Agent、长视频复盘、多轮视频分析任务容易翻车的核心原因。总的来说,Claude Opus5 在 25 个模型的视频记忆大考拔得头筹,但整体视频记忆能力还远达不到人类水平,长距离回溯、链式推理是后续优化重点。
一、本次视频记忆大考 TOP 模型得分表
| 模型名称 | 综合得分 | 场景依赖得分 | 答案依赖得分 |
|---|---|---|---|
| Claude Opus 5 | 45.7 | 52.3 | 35.7 |
| Gemini 3.8 Flash | 42.4 | 50.4 | 30.3 |
| Kimi K3 | 42.2 | 48.7 | 31.2 |
| GPT-5.6-sol | 41.7 | 50.0 | 28.9 |
| Qwen3.5-27B | 34.3 | 40.1 | 22.6 |
| 人类参考值 | 86.1 | 88.1 | 84.2 |
二、VideoMemBench 评测规则说明
- 考题形式:单段视频搭配连续多轮对话,后面问题依赖前面内容,不是独立 VQA。
- 两大考核维度
- 场景依赖:回忆视频里更早出现的画面、事件,考验视频画面记忆。
- 答案依赖:记住模型上一轮给出的回答,后续问题要基于这个回答继续推理,链式校验。
- 输入统一方案:全部模型统一输入带时间戳的 128 个视频采样帧,控制变量。
- 样本规模:326 段视频,2476 轮对话,1387 道属于跨轮依赖难题。
三、Claude Opus5 优势和短板
✅ 优势
- 在 25 个参评大模型里综合分最高,跨轮次视频记忆能力领先同代模型。
- 场景记忆分项相对更高,回看视频画面信息的能力更强。
- 答案依赖分项只有 35.7 分,链式记忆、长距离回溯很容易断链。
- 和人类基准差距巨大,无法稳定支撑超长连续视频对话任务。
- 依赖距离变长之后,准确率会快速下跌。
❌ 短板
四、评测反映的行业现状
- 普通视频问答已经做得不错,但带上下文依赖的多轮视频记忆是普遍卡点。
- 很多模型单看一帧画面能答对,连续聊十几轮之后,很容易遗忘前面画面和历史结论。
- 想要做视频智能体、长视频复盘、视频剧情交互,都需要攻克这个视频记忆难题。
【相关 FAQ】
问题 1:Claude Opus 5 拿到 45.7 分的这场 25 个大模型视频记忆大考,是什么评测基准?
回答 1:Claude Opus 5 拿到 45.7 分的这场 25 个大模型视频记忆大考,采用的是 VideoMemBench,专门测试多模态模型跨轮次视频记忆,考题互相存在依赖关系,和普通独立视频问答不一样。
问题 2:Claude Opus 5 在 25 个大模型视频记忆大考里 45.7 分算高吗?
回答 2:在 25 个参评大模型里面,Claude Opus 5 的 45.7 分是本次视频记忆大考第一名,但是对比人类 86.1 分基准,这个分数依然偏低,长距离视频记忆还有很大差距。
问题 3:25 个大模型视频记忆大考里的答案依赖项是什么意思,为什么 Claude Opus5 只有 35.7 分?
回答 3:25 个大模型视频记忆大考的答案依赖项,要求模型记住自己前面给出的回答,后续问题要基于这个回答继续推理;Claude Opus5 只有 35.7 分,说明链式记忆很容易断,前面回答错了后面连锁出错。
问题 4:Kimi K3 在 25 个大模型视频记忆大考里是什么水平?
回答 4:Kimi K3 在 25 个大模型视频记忆大考拿到 42.2 分,排在第三名,仅次于 Claude Opus 5 和 Gemini 3.8 Flash,同样在答案依赖的长链式考题上表现偏弱。
问题 5:这个 25 个大模型视频记忆大考,和平时我们看到的视频问答评测差别在哪?
回答 5:普通视频问答题目互不相关,每一题单独看视频就能回答;这个 25 个大模型视频记忆大考是连续多轮对话,后面题目必须调取更早画面或者历史回答,专门测记忆能力。
【参考资料】
[2026-11-21](Claude Opus 5 拿到 45.7 分,25 个大模型视频记忆大考)新浪财经
[2026-11-03](VideoMemBench: How Well Do MLLMs Remember in Video Conversations?)arXiv
[2026-10-29](VideoMemBench 多模态视频记忆基准论文发布)arXiv
[2026-11-20](VideoMemBench 评测解读:多模态模型长视频记忆瓶颈)机器之心
【免责声明】
本文仅对 VideoMemBench 25 个大模型视频记忆大考公开评测结果做科普整理,45.7 分为 Claude Opus5 在该特定评测集下的分数,不能代表模型全部视频能力;不同评测集、不同提示词、不同输入方式下得分会发生变化,不构成模型选型、付费使用的投资建议。
