您的位置首页 >人工智能 >

Visual Cipher Bench 评测解读|GPT-6 Astra 仅 26.7%,顶级 AI 长程视觉推理遇瓶颈

Einsia AI 旗下 Navers Lab 新推出 Visual Cipher Bench 这个长程视觉推理基准测试,结果非常出人意料,就算是当前顶尖的 GPT-6 Astra(max),在这套测试里准确率也只有 26.7%,还有多款主流前沿模型得分不足 1%,说明现在的大模型 Agent 擅长文本、代码类任务,但是自主从图像里挖掘隐藏规则的能力还很弱。和普通视觉测试不一样,Visual Cipher Bench 不会把题目要求写清楚,线索全部藏在黑白线稿图片里,没有文字提示、没有对错反馈,AI 需要自己反复看图、猜想规则、验证逻辑,属于长链条自主推理任务。很多常见的视觉评测只是简单看图问答,Agent 测试大多是文本环境、可以反复试错拿反馈,这套基准刚好补上这个缺口,而且实验还发现,只要给一句不剧透的提示,模型准确率就能大幅上涨,这也证明 AI 卡壳的地方不是后续的推理执行,而是自己主动发现图像里隐藏规则这一步。

一、Visual Cipher Bench 基础信息

  • 出品方:Einsia AI Navers Lab
  • 题目总量:40 道原创视觉谜题,配套 67 张黑白线稿
  • 题型分成 4 大类,每一类 10 题
  1. 空间操作与模拟:图形折叠、旋转、投影推演
  2. 逻辑约束与规划:从图像提取约束条件,找到唯一解
  3. 规则归纳:通过样例图形,自己总结这套题独有的变换规则
  4. 知识解码:识别图像里的盲文、摩斯码等视觉暗号
  • 测试规则:只给少量图片 + 一句极简指令,没有样例说明、没有中间反馈,AI 自行判断哪些是样例、哪些是待解题目

二、本次核心测试结果

模型测试表现备注
GPT-6 Astra(max)26.7%本次所有参评模型里最高分
多款前沿模型低于 1%包含 DeepSeek V4.1 Flash、Qwen 3.8 Max 等
增加提示后的子集测试7.8%→55.6%给出非剧透提示,分数显著提升

三、为什么 Visual Cipher Bench 能难住顶级 AI

  1. 信息全部在图像里,很难转成文字描述,模型没法靠文字知识库直接匹配答案
  2. 没有试错反馈,不像代码 Agent,跑错了能看到报错、不断调整
  3. 属于长程推理,需要多次回看图像、提出假设、交叉验证,不是单轮看图问答
  4. 规则每一题都不一样,没有固定套路,没法靠刷题记忆模板

四、这个测试带来的行业结论

  1. 当前顶尖 AI 的短板是自主发现图像隐藏规则,不是拿到规则之后做推理计算
  2. 文本 Agent 的长程能力,很难直接迁移到纯视觉线索的任务上
  3. 传统视觉评测、Agent 评测都有盲区,Visual Cipher Bench 提供了新的评估角度
  4. 给少量提示就能大幅提分,说明这类任务未来可以靠提示工程、引导式推理优化

【常见问题】

问题 1:在 Visual Cipher Bench 测试里,GPT-6 Astra 为什么只拿到 26.7% 的准确率?

回答 1:Visual Cipher Bench 要求 AI 自主从黑白线稿里挖掘隐藏规则,没有文字说明和对错反馈,GPT-6 Astra 虽然是顶尖模型,但自主从图像中归纳未知规则的能力不足,所以在 Visual Cipher Bench 上只有 26.7% 的正确率。

问题 2:Einsia AI 发布的 Visual Cipher Bench,和普通看图问答 AI 评测有什么区别?

回答 2:普通看图问答评测会写清楚问题、推理链条短;Visual Cipher Bench 没有明确提问,线索全部在图像中,需要 AI 自主猜想、验证规则,属于长程视觉推理,也没有试错反馈,难度高很多。

问题 3:给 AI 加提示之后,Visual Cipher Bench 的成绩上涨很多,说明什么?

回答 3:说明 AI 在 Visual Cipher Bench 里的瓶颈不是推理、计算、解码,而是自己找不到隐藏规则;只要给一点方向提示,AI 就有能力完成后续的推理解谜。

问题 4:Visual Cipher Bench 主要用来衡量 AI 的什么能力?

回答 4:Visual Cipher Bench 专门用来评估大模型 Agent 的长程视觉推理能力,重点考察模型能不能只依靠图像线索,自主发现规则、完成解谜,而不是简单识别物体、回答问题。

【参考资料】

[2026-11-17](最强 GPT-6 Astra 只对 26.7%,Einsia AI 发布的 Visual Cipher Bench 难住顶级 AI)新浪财经

[2026-11-12](Visual Cipher Bench: Benchmarking LLM Agents on Long-Horizon Visual Reasoning)arXiv 论文

[2026-11-12](Visual Cipher Bench 项目介绍)Einsia AI Navers Lab 官网

【免责声明】

本文内容基于 Visual Cipher Bench 公开论文与媒体报道整理,仅为 AI 评测科普,不代表模型综合能力;该基准只是单一维度的长程视觉推理测试,不能直接用来评判模型整体好坏;模型分数、测试细节以 Einsia AI 官方论文和项目主页为准,不构成选型、采购的参考依据。

今日大家都在搜的词: