您的位置首页 >科技要闻 >

Einsia AI 推出 Visual Cipher Bench 基准测试,最强 GPT-6 Astra 仅取得 26.7% 正确率,顶级 AI 遇长程视觉推理

Einsia AI 旗下 Navers Lab 发布全新 AI 评测基准 Visual Cipher Bench,专门用来考验 AI 智能体的长程视觉推理能力,在本次 8 款前沿大模型测试中,综合实力最强的 GPT-6 Astra(max)也只拿到 26.7% 的正确率,多款主流大模型得分不足 1%,说明当前顶级 AI 很难自主从图像线索里归纳隐藏规则。传统 AI 视觉评测大多是简单看图问答,题目文字描述清晰,推理链条很短;普通智能体基准更多偏向文本任务,就算带图像也可以反复试错获取反馈。而 Visual Cipher Bench 全部使用黑白线稿谜题,只给极少指令,所有解题线索全部藏在图片内部,AI 没有外部对错反馈,必须自己观察样例、猜想底层规则、验证假设,属于长程多步视觉推理任务。整套基准一共 40 道原创视觉谜题,分成四大类型,测试团队跑了 29 种推理参数配置,5 个参评模型最好成绩低于 1%;有意思的是,如果给 AI 一句不剧透的规则提示,小范围子集任务准确率直接从 7.8% 提升至 55.6%,这证明 AI 短板不是执行推理步骤,而是自主从图像中发现隐藏规则。GPT-6 Astra 在很多电脑操控、编程、科研基准上都表现顶尖,但在这套视觉密码基准上暴露了视觉归纳能力短板,这个评测也为后续 AI 智能体视觉能力优化指明方向。

一、Visual Cipher Bench 基准核心信息

  • 出品方:Einsia AI 旗下 Navers Lab,联合清华大学
  • 测试目标:评估大模型智能体的长程视觉推理
  • 题目总量:40 道原创视觉谜题,配套 67 张黑白线稿
  • 任务特点:线索仅在图片中,无文字规则说明,没有即时对错反馈
  • 测试模型:8 个前沿大模型,29 种不同推理参数配置
  • 最佳结果:GPT-6 Astra (max),正确率 26.7%;5 款模型最高分低于 1%

二、四大谜题分类与难度特点

谜题分类题目数量任务描述模型平均表现
空间操作与模拟10 题图形旋转、折叠、投影推演22.8%
逻辑约束与规划10 题从图中提取约束条件,寻找可行方案中等
规则归纳10 题从样例图像自行推导题目独有的隐藏规则仅 0.6%,最难
知识解码10 题识别图像内摩斯码、盲文等符号密码偏低

三、Visual Cipher Bench 测试实验关键结论

  1. 能力瓶颈:当前顶尖 AI 的短板不在多步骤推理执行,而是自主从视觉画面归纳未知规则。
  2. 提示增益:给少量非剧透提示,模型准确率大幅上涨,证明 AI 看懂规则后可以顺利解题。
  3. 类别差距:空间类题目相对更容易,规则归纳类题目几乎大面积翻车。
  4. 天花板:即使 GPT-6 Astra,在无提示条件下,整体正确率仅 26.7%。

四、AI 在 Visual Cipher Bench 上的解题流程

  1. 图像读取:AI 读取黑白线稿图片,观察样例图形和待求解目标。
  2. 假设猜想:自主观察图像差异,猜想这套谜题背后隐藏规则。
  3. 规则验证:使用猜想的规则,尝试推理答案。
  4. 输出结果:直接输出最终答案,系统不会给出对错反馈。
  5. 迭代试错:无外部反馈,AI 只能依靠自身视觉理解反复调整假设。

【常见问题】

问题 1:Einsia AI 发布 Visual Cipher Bench 基准,GPT-6 Astra 在该基准上正确率是多少?

回答 1:Einsia AI 发布 Visual Cipher Bench 基准,GPT-6 Astra (max) 在 Visual Cipher Bench 测试中仅取得 26.7% 正确率,是本次参评 8 款前沿模型里成绩最高的一款。

问题 2:Visual Cipher Bench 和传统 AI 视觉评测有什么区别,主要考察 AI 什么能力?

回答 2:Visual Cipher Bench 由 Einsia AI 推出,重点考察 AI 长程视觉推理,谜题全部依靠黑白线稿,没有文字规则、没有即时对错反馈,需要 AI 自主看图归纳隐藏规则,区别于传统单轮看图问答基准。

问题 3:在 Visual Cipher Bench 测试中,给 AI 增加少量提示后,模型成绩有什么样的变化?

回答 3:在 Visual Cipher Bench 测试的子集任务中,增加一句非剧透提示,模型平均准确率从 7.8% 提升到 55.6%,证明 AI 看懂规则后可以完成推理,难点在于自主发现图像里的隐藏规则。

问题 4:Visual Cipher Bench 谜题分为哪四类,哪一类对 AI 来说难度最高?

回答 4:Visual Cipher Bench 谜题分为空间操作模拟、逻辑约束规划、规则归纳、知识解码四类,其中规则归纳类题目难度最高,模型平均正确率仅 0.6%。

【参考资料】

[2026-11-17](最强 GPT-6 Astra 只对 26.7%,Einsia AI 发布的 Visual Cipher Bench 难住顶级 AI)机器之心

[2026-11-12](Visual Cipher Bench: Benchmarking LLM Agents on Long-Horizon Visual Reasoning)arXiv 论文

[2026-11-17](Einsia AI Navers Lab 发布 Visual Cipher Bench,评估 AI 智能体长程视觉推理)36 氪

[2026-11-17](Visual Cipher Bench 评测:GPT-6 Astra 仅 26.7%,大模型视觉规则归纳遇阻)量子位

【免责声明】

本文信息来源于 arXiv 论文、机器之心等 AI 行业媒体公开报道;Visual Cipher Bench 测试结果基于特定实验配置,模型得分会随推理参数调整发生变化;本文仅 AI 技术资讯科普,不代表模型综合能力全面评估,不构成技术选型建议。

今日大家都在搜的词: