您的位置首页 >科技要闻 >

Claude Opus 5拿到45.7分,25个大模型视频记忆大考

这次 VideoMemBench 视频记忆大考一共拉了 25 个多模态大模型参与测试,Claude Opus 5 拿到全场最高 45.7 分,虽然是榜单第一名,但距离人类 86.1 分的基线差距很大,说明当前所有主流大模型的跨轮次视频记忆能力都存在明显短板,和普通视频问答不一样,这个测试不是简单问视频里出现了什么,而是多轮连环提问,后面的问题必须依赖前面对话里的画面信息、模型自己之前给出的回答才能作答,专门考验模型能不能记住长对话里的视频细节、跨轮回溯信息,很多模型单轮看图还行,多轮来回追问就容易遗忘前面画面内容、前后回答矛盾。传统视频问答基准大多是独立问题,互相之间没有关联,就算忘了前面内容也能单独回答;而 VideoMemBench 的题目设计了两种依赖关系,一种是场景依赖,要回忆视频里更早发生的画面片段,另一种是回答依赖,要记住模型自己上一轮输出的结论,并且题目不会重复提示关键信息,彻底堵住靠单次画面识别蒙答案的路子,下面先放核心成绩对比,再拆解评测指标、难点,最后说这个测试对实际使用的参考意义。

一、头部模型核心得分汇总表

模型综合总分TurnAcc 单轮准确率EpiDepAcc 场景依赖准确率AnsDepAcc 回答依赖准确率
Claude Opus 545.7%52.3%49.1%35.7%
Gemini 3.8 Flash42.4%48.6%44.2%30.3%
GPT-5.6-sol41.7%48.1%43.5%29.6%
GPT-5.436.3%41.2%37.8%24.1%
人类标注基线86.1%88.1%86.0%84.2%

二、评测数据集基础信息

  • 样本规模:326 条视频,一共 2476 轮对话,其中 1387 轮属于跨轮依赖题,需要调取前面信息
  • 测试重点:长距离回溯、多父节点依赖、连环追问,模拟真实人跟 AI 反复复盘视频的对话场景
  • 参与模型构成:8 个闭源商用模型、17 个开源权重多模态模型,合计 25 款
  • 采样设置:统一 128 帧采样,保证所有模型的输入条件一致,减少变量干扰

三、三个评测指标通俗解释

  1. TurnAcc:普通单轮问答准确率,不强制跨轮关联,只看这一轮能不能看懂当前画面,大部分模型这项分数相对更高
  2. EpiDepAcc:场景依赖准确率,需要回头调取视频更早画面里的事件、物体、动作,是视频画面记忆核心项
  3. AnsDepAcc:回答依赖准确率,要记住模型自己前面输出的答案,并且基于上一轮结论继续推理,是所有模型普遍最弱的一项,哪怕是第一名 Claude Opus5 这里也只有 35.7%

四、测试暴露出来的共性问题

  • 画面记忆衰减明显:视频信息放久之后,模型会丢失细节,只保留粗略摘要,精细画面内容容易遗忘
  • 自回答遗忘是重灾区:模型很容易忘记自己刚刚说了什么,前后说法冲突,AnsDepAcc 普遍大幅低于另外两项指标
  • 高分不等于够用:45.7 分是全场第一,但还不到人类一半,在需要持续复盘视频、做连环推理的场景依然容易出错
  • 开源模型整体偏弱:榜单里靠前位置基本都是闭源商用模型,大部分开源多模态模型在跨轮记忆任务上差距更大

五、实际落地参考

如果是简单单轮视频提问、截取画面找物体,现在主流模型都够用;但做视频复盘、案件录像分析、智能体持续看监控、多轮跟着视频一步步推理这类场景,就要小心记忆丢失问题,哪怕用 Claude Opus5,也建议人工分段校验、做好摘要存档,不要完全信任模型跨轮记忆。这个榜单也说明,多模态模型现在的强项是瞬时视觉识别,而不是稳定的长时序视频记忆。

【相关 FAQ】

问题 1:Claude Opus 5 在 25 个大模型视频记忆大考拿到 45.7 分,这个分数是什么水平?

回答 1:Claude Opus 5 在 25 个大模型视频记忆大考拿到 45.7 分,是本次 VideoMemBench 评测里所有 25 款模型的最高分,但远低于人类 86.1 分基线,代表它是当前这批模型里视频跨轮记忆最好的,但本身能力依然有很大短板。

问题 2:25 个大模型视频记忆大考的 VideoMemBench,和普通的视频 VQA 测试有什么不一样?

回答 2:25 个大模型视频记忆大考采用 VideoMemBench,核心差异是题目存在跨轮依赖,分场景依赖、回答依赖两类,后面的问题必须调用前面视频画面或者模型之前的回答,而普通 VQA 每一题独立,可以不依赖历史对话。

问题 3:Claude Opus 5 在 25 个大模型视频记忆大考里,哪一项指标失分最多?

回答 3:Claude Opus 5 在 25 个大模型视频记忆大考里,AnsDepAcc 回答依赖准确率只有 35.7%,是三项指标里最低的,也就是最难记住自己之前给出的回答,容易前后矛盾。

问题 4:25 个大模型视频记忆大考的结果,会影响我们日常用 Claude Opus5 看视频复盘吗?

回答 4:25 个大模型视频记忆大考结果提醒我们,Claude Opus5 单轮看图问答表现尚可,但多轮连环复盘视频时会遗忘细节,使用时适合分段提问,重要结论手动留存,不要直接依赖它的长时序视频记忆。

【参考资料】

[2026-11-03](VideoMemBench: How Well Do MLLMs Remember in Video Conversations?)arXiv

[2026-10-29](VideoMemBench 多模态视频记忆基准,25 款模型评测结果)arXiv

[2026-11-10](Claude Opus5 综合评测榜单)猫目模型资料库

【免责声明】

本文仅针对 VideoMemBench 25 个大模型视频记忆大考的公开论文数据做解读,Claude Opus5 的 45.7 分仅代表该特定评测条件(128 帧采样、跨轮依赖题型)下的表现,不能直接等同于所有视频理解场景的能力;不同评测框架、采样帧数、视频类型会带来完全不一样的得分,不构成模型选型、业务采购的决策依据,实际业务使用前请自行开展场景专项测试。

今日大家都在搜的词: