您的位置首页 >机器人 >

Einsia AI 推出 Visual Cipher Bench 顶级模型 GPT-6 Astra 仅 26.7% 正确率

Einsia AI 旗下 Navers Lab 推出了全新的评测基准 Visual Cipher Bench,专门用来测试 AI 智能体的长程视觉推理能力,就连目前综合能力很强的 GPT-6 Astra(max 版本)在这个基准上也只有 26.7% 的准确率,还有不少前沿大模型得分低于 1%,足以看出这套视觉谜题对现在的顶级 AI 来说难度很高。市面上大部分视觉评测都是简短问答,任务要求写得很清楚,而 Agent 类评测大多集中在文本、代码场景,还能通过试错拿到反馈,Visual Cipher Bench 不一样,线索全部藏在黑白线稿图片里面,没有额外文字提示,AI 也没办法收到对错反馈,需要自己看图、摸索谜题规则、一步步推理得到答案,刚好补上了现有评测体系里长程视觉自主推理的空白。下面给大家拆解这套基准的题型分类、测试结果、任务特点,还有研究里发现的 AI 能力瓶颈。

一、Visual Cipher Bench 基础信息

整套基准一共 40 道原创视觉谜题,搭配 67 张黑白线稿,4 个大类各 10 题,测试的核心是 AI 自主看图找规律、长链条推理的能力。

题型分类考察内容题目特点
空间操作与模拟图形折叠、旋转、投影推演需要 AI 脑补图形变换之后的形态
逻辑约束与规划从图像里提取隐藏条件,寻找可行方案没有文字说明规则,全靠读图识别约束
规则归纳从样例图形里自己总结这套谜题独有的规则每道题的规则不一样,不能套用固定模板
知识解码识别图像里的暗号、符号编码,比如盲文、摩斯码等需要视觉识别 + 符号解码结合推理

二、主流模型测试结果概况

本次一共测试 8 款前沿模型,29 种推理配置,结果差距很明显:

  1. GPT-6 Astra(max):26.7%,是本次测试里最高分模型
  2. 其余大部分模型表现偏弱,8 款里面有 5 款准确率低于 1%
  3. 补充提示实验:在部分题目里给一条不剧透的提示,模型平均准确率从 7.8% 直接提升到 55.6%

这个对照实验也说明了,现在 AI 的短板不是不会执行多步推理,而是很难单纯依靠图像自主发现隐藏规则。

三、Visual Cipher Bench 的任务执行特点

  1. 指令极简:所有题目共用一句基础指令,只要求看图输出答案,不会告诉 AI 这是什么题型、怎么解。
  2. 无反馈机制:AI 提交答案之后,不会收到对错提示,没法反复试错迭代。
  3. 信息全部在图中:关键线索很难转成文字,必须反复读图、比对、模拟推演。
  4. 长链条推理:不是一步看图问答,需要多轮观察、交叉验证线索。

四、研究带来的结论

当前顶尖 AI 在代码、文本类长任务里表现不错,但是这套能力很难直接迁移到纯视觉自主推理场景。AI 擅长按给定规则去执行任务,但是很难自己从图像里凭空发现未知规则,这也是后续视觉 Agent 研发重点要攻克的方向。

【常见问题】

问题 1:Einsia AI 发布的 Visual Cipher Bench,GPT-6 Astra 得分是多少?

回答 1:在 Einsia AI 推出的 Visual Cipher Bench 测试里,GPT-6 Astra(max 版本)准确率只有 26.7%,是本次参与测试模型里成绩最好的一款,依然没有拿到高分。

问题 2:Visual Cipher Bench 和普通 AI 视觉评测有什么不一样?

回答 2:Visual Cipher Bench 主打长程视觉推理,题目线索全部放在黑白线稿里,没有详细文字任务说明,AI 没有对错反馈,需要自己看图归纳规则;普通视觉评测大多是单轮问答,任务描述清晰,推理链条很短。

问题 3:Visual Cipher Bench 测试里,给 AI 提示之后效果会变好吗?

回答 3:在 Visual Cipher Bench 的子集对照实验中,给 AI 一条不剧透的提示,模型准确率从 7.8% 提升到 55.6%,证明 AI 的瓶颈主要是自主从图像中发现隐藏规则,而不是后续推理执行。

【参考资料】

[2026-11-17](最强 GPT-6 Astra 只对 26.7%,Einsia AI 发布的 Visual Cipher Bench 难住顶级 AI)新浪财经

[2026-11-12](Visual Cipher Bench: Benchmarking LLM Agents on Long-Horizon Visual Reasoning)arXiv

[2026-11-12](Einsia 旗下 Navers Lab 发布全新视觉推理基准 Visual Cipher Bench)机器之心

[2026-11-10](Navers Lab 前沿 AI 评测项目介绍)Einsia Lab 官网

【免责声明】

本文内容为 Visual Cipher Bench 评测研究科普,GPT-6 Astra 在 Visual Cipher Bench 的测试结果基于论文实验条件,模型得分会受推理配置、提示词、版本迭代影响,该基准为学术研究用途,不代表模型全部能力,详细实验细节请查阅原论文。

今日大家都在搜的词: