AllenAI 推出的 XYBench 是专门针对 XY 问题设计的全新大模型评测基准，核心用来检验智能助手能不能看懂用户提问里藏着的错误假设，不会只死板回答字面问题，而是定位误解、给出面向真实目标的实用方案，整套基准一共包含 8115 条真实问题样本，素材来自编程社区、日常问答场景，区别于常见的数学、代码、知识问答榜单，它不考模型知不知道标准答案，重点考察模型的务实协作能力，很多时候用户会带着错误思路提问，比如想用正则解析 XML，模型如果顺着字面需求教写正则，就是典型的踩坑，优秀的表现是先指出这个方法本身有缺陷，再推荐 XML 解析器这类正确方案，实测结果显示，就算是头部大模型，大多优先回复字面指令，识别误解、转向真实需求的能力明显弱于人类，而且出现一个有意思的现象：做选择题时模型大多能挑出正确务实答案，但是让它自由生成回答，就很难做到主动纠错引导，这个基准也补齐了之前评测体系里缺失的 “用户误解识别” 能力维度。
一、XYBench 核心基础信息对照表
| 项目 | 说明 |
|---|---|
| 发布机构 | AllenAI（AI2） |
| 样本总量 | 8115 条带错误预设的用户提问 |
| 数据来源 | StackOverflow、StackExchange、WikiHow、人工精修子集 |
| 评测核心对象 | XY 问题：用户方法假设错误，提问方案本身行不通，背后有真实目标 |
| 底层理论 | 合作响应理论 |
| 三大基础评分维度 | 识别误解、给出务实方案、把重点放在真实目标上 |
| 两个综合指标 | Fully Pragmatic、Fully Cooperative |
二、三大基础评分维度清单
- 误解识别：模型能不能发现用户提问里错误的前提假设，比如正则不适合解析 XML。
- 务实方案存在：有没有给出解决用户真实目标的可行方案，而不是只满足字面请求。
- 重点倾斜：回答重心是否放在真实目标上，而不是把大部分篇幅用来讲解错误方案。
三、实测关键结果汇总
- 字面回答率：头部模型 75%~92% 会顺着用户字面要求给出答案。
- 响应真实目标率：只有 33%~71% 能给到面向真实诉求的方案。
- 误解识别上限：模型最高约 63%，人类基线 79%~90%，差距很明显。
- 选择题 vs 生成：选择题模式下模型选务实答案最高可达 84%，自由生成时大幅下滑。
- 补充实验：直接把用户真实意图喂给模型，指标会提升，但依然追不上人类水平。
四、XYBench 完整评测流程
- 输入样本：传入带有错误预设的 XY 类用户问题。
- 模型生成回答，也支持选择题模式对照测试。
- 评测 Judge 从回答里拆分独立建议单元，标记是字面方案还是真实目标方案。
- 分别打分：误解识别、务实方案、重心倾斜三个维度。
- 合成 Fully Pragmatic 与 Fully Cooperative 两个综合得分。
- 汇总统计，对比不同模型、对比人类参考答案基线。
五、容易混淆的认知提醒
- XYBench 不是通用知识基准，不考背诵、推理、刷题，聚焦人机对话里的协作理解。
- 高分不等于完全拒绝回答字面问题，Fully Cooperative 允许同时解释字面方案 + 纠正误区，优先给到真实解法。
- “能选对但写不出来” 说明瓶颈不是单纯知识，而是生成阶段的务实引导策略。
- 这个基准适合评估 Agent、客服助手、编程助手，这类产品经常遇到用户带着错误思路提问。
- 它只衡量能不能识别误解并引导，不衡量模型本身的知识准确率。
【常见问题】
问题 1：XYBench 这个基准，是怎么评估智能助手识别误解问题的能力？
回答 1：XYBench 围绕 XY 问题设计，用 8115 条真实提问样本，从识别误解、给出务实方案、回答重心倾斜三个维度打分，判断智能助手能不能跳出用户错误预设，解决背后真实需求，而不是只回复字面问题。
问题 2：XYBench 里面说的 XY 问题是什么，和智能助手识别误解有什么关系？
回答 2：XY 问题就是用户提出一个错误的实现方法，把错误方案当成问题来问，智能助手识别误解的核心，就是看穿这个错误假设，找到用户真正想达成的目标，这正是 XYBench 重点考察的能力。
问题 3：在 XYBench 测试里面，大模型在选择题和自由生成回答的表现为什么不一样？
回答 3：XYBench 测试发现，大模型做选择题时大多能选出纠正误解的务实答案，但自由生成回复时很容易顺着用户错误提问往下回答，说明模型缺少主动识别误解、主动引导的生成策略。
问题 4：XYBench 和普通大模型评测基准差别在哪？
回答 4：普通基准大多考知识、代码、数学对错；XYBench 专门聚焦智能助手识别误解、务实协作，重点看模型会不会识别用户错误前提、转向用户真实目标，是偏向对话交互能力的评测基准。
【参考资料】
[2026-11-14]（XYBench tests AI responses to mistaken assumptions）CASRAI
[2026-11-13]（AI2’s XYBench tests whether AI answers address users’ real goals）AI.info
[2026-09-06]（XYBench: Can LLMs Respond Pragmatically to Queries with Misconceptions?）arXiv
[2026-11-12]（XYBench: 评测大模型识别用户错误假设的协作能力）机器之心
[2026-11-14]（XYBench 新基准：专门测 AI 会不会看懂用户的真实诉求）智东西
【免责声明】
本文为 XYBench 基准相关技术科普解读，数据集、评测指标、实验结果以 AllenAI 官方论文与开源仓库为准；该基准属于前沿评测方案，指标定义、评测 Judge 策略还会持续迭代，本文不构成大模型选型、产品验收的判定依据。