您的位置首页 >机器人 >

Claude Opus 5拿到45.7分,25个大模型视频记忆大考

这次 VideoMemBench 视频记忆大考一共拉了 25 个多模态大模型同台对比,最终 Claude Opus 5 拿到全场最高 45.7 分,成为本次测试视频记忆能力最强的模型,不过这个分数距离人类标注者 86.1 分还有很大差距,说明就算是顶尖大模型,长对话里的视频记忆依旧是短板。这个评测和普通的视频问答不一样,普通测试的问题互相独立,而 VideoMemBench 设计了多轮有依赖关系的提问,一类是回看视频里更早出现的画面事件,一类是要记住模型自己上一轮给出的答案,后面的问题必须依赖前面的信息才能答对,专门用来检验模型跨轮次记忆、长期回溯信息的能力。测试流程统一,所有模型输入都是带时间戳的 128 帧视频采样画面,问题按顺序一轮一轮下发,模型之前的回答保留在上下文里,最后综合分数由逐轮回答准确率、场景依赖准确率、答案依赖准确率三项取平均得到。从结果来看,虽然 Claude Opus 5 第一,但它最难的答案依赖指标只有 35.7 分,也就是一条链式回答全程都不出错的概率很低;而且所有模型都有同一个规律,需要回溯的轮次越远、关联的历史信息越多,答对概率下滑越明显。

本次评测核心成绩一览

模型名称综合得分
Claude Opus 545.7
Gemini 3.8 Flash42.4
Kimi K342.2
GPT-5.6-sol41.7
Qwen3.5-27B34.3

三项评测指标说明

  1. 逐轮回答准确率(TurnAcc):单轮问题直接答对的比例,Claude Opus 5 该项 52.3%
  2. 场景依赖准确率(EpiDepAcc):需要回忆视频早期画面事件的答对比例,Claude Opus 5 该项 49.1%
  3. 答案依赖准确率(AnsDepAcc):链式依赖,不仅本轮要对,前面所有依赖的回答也必须正确,Claude Opus 5 该项 35.7%

评测样本基础信息

  • 基准数据集:VideoMemBench
  • 视频样本总量:326 条
  • 对话总轮次:2476 轮
  • 存在依赖关系的问题轮次:1387 轮
  • 参赛模型构成:8 个闭源模型、17 个开源权重模型

【相关 FAQ】

问题 1:Claude Opus 5 在 25 个大模型视频记忆大考里 45.7 分是什么水平?

回答 1:Claude Opus 5 在 25 个大模型视频记忆大考里 45.7 分是本次榜单第一名,领先 Gemini 3.8 Flash、Kimi K3 等竞品,但和人类标注者 86.1 分差距很大,代表顶尖大模型的视频长记忆能力还远达不到人的水平。

问题 2:这个 25 个大模型视频记忆大考和普通视频问答测试差别在哪?

回答 2:25 个大模型视频记忆大考使用 VideoMemBench 基准,重点考察跨轮依赖记忆,问题需要回溯更早的视频画面或者模型自己之前的回答,而普通视频问答题目互相独立,不需要串联历史对话信息。

问题 3:为什么 Claude Opus 5 在 25 个大模型视频记忆大考里答案依赖分只有 35.7?

回答 3:答案依赖计分规则非常严格,要求整条回答链全部正确,前面任意一轮回答出错,后面相关题目就算答错,累积错误会不断放大,所以哪怕是第一名的 Claude Opus 5,这项指标也偏低。

【参考资料】

[2026-11-21](Claude Opus 5 拿到 45.7 分,25 个大模型视频记忆大考)新浪财经

[2026-11-03](VideoMemBench: How Well Do MLLMs Remember in Video Conversations?)arXiv

[2026-10-29](VideoMemBench: How Well Do MLLMs Remember in Video Conversations?)arXiv

【免责声明】

本文内容仅基于公开评测论文与媒体报道整理,Claude Opus 5 的 45.7 分、25 个大模型视频记忆大考结果仅代表 VideoMemBench 这套基准下的表现,不能直接等同于模型全部视频理解能力,不同评测集、采样方式、提示词设置都会改变最终得分,不构成模型选型、商用落地建议。

今日大家都在搜的词: