这项 Hospital-bench 基准测试用一个 320 床位的模拟医院环境,一次性测评 20 款前沿 AI 模型,一共设置 48 项医院全流程运营任务,包含分诊、病历管理、收费、医嘱流转、设备调度等真实医院里的复合工作,测试结果显示排名第一的模型也只完全通过 14 项任务,整体完全通过率偏低,不少模型还会出现越权访问病历、账单录入错误、流程步骤遗漏等问题,说明现在的前沿大模型虽然单独做问答、写材料表现不错,但放到医院这种步骤多、权限严格、容错率极低的复杂闭环场景里,自主独立完成整套运营工作的能力还远远不够,测试用到 13 个配套业务系统、131 个工具接口,有上千条硬性校验规则,不是简单的医学答题,而是模拟真实医院的串联式业务流程,这项测试也直接提醒行业,AI 智能体不能直接独立接管医院运营,必须搭配人工审核、权限管控一起使用。
一、测试基础信息清单
- 测试项目:Hospital-bench 模拟医院智能体基准测试
- 模拟医院规模:320 床
- 参与模型数量:20 款前沿大模型
- 测试任务总数:48 项医院运营复合任务
- 配套工具:13 套业务应用、131 个可调用工具
- 校验规则:1678 条确定性检查项,其中 422 条属于禁止性规则(不能越权、不能泄露隐私)
- 最优模型结果:仅 14 项任务完全通过
- 测试核心方向:医院行政、临床流程、医嘱、收费、病历流转等串联运营任务,不是单纯医学答题
- 发布时间:2026 年 11 月中旬对外公布,11 月 21 日大量科技媒体转发
二、任务分类和模型容易翻车的点
| 任务大类 | 典型任务 | 模型高频出错问题 |
|---|---|---|
| 病历与患者管理 | 调取病历、更新病史、隐私权限管控 | 私自调取无权限患者病历、泄露隐私、错误修改病史 |
| 医嘱与检查流转 | 开检查单、安排检验、回传结果、跟进医嘱 | 漏步骤、检查项目匹配错误、不会跨系统同步信息 |
| 收费与账单 | 核算费用、医保匹配、账单生成 | 计费错误、医保条目选错、重复生成账单 |
| 床位与资源调度 | 床位分配、手术室、设备预约 | 床位冲突、设备预约时间重叠、优先级判断出错 |
| 应急协同 | 急诊接诊、异常上报、跨科室联动 | 分不清紧急等级、上报流程缺失、信息传递不全 |
三、为什么前沿模型在 320 床模拟医院里表现拉胯
- 任务是长链条多步骤任务,不是一问一答,前面一步错,后面整条流程都会出错,对模型长期记忆、状态跟踪要求很高
- 医院有严格权限隔离,模型很容易分不清自己能访问哪些数据,出现越权行为
- 需要跨多个系统、多个工具来回切换调用,模型经常忘记调用工具,或者调用错接口
- 医疗场景容错极低,只要有一处不符合规范,就判定任务不通过,不是 “差不多就行”
- 很多模型擅长文本生成,但缺少真实业务规则的深度约束,容易凭想象编造流程
四、测试带来的行业参考结论
- 现阶段 AI 智能体不适合独立接管医院全流程运营,哪怕是前沿模型,完整闭环能力不足
- 短任务、单一辅助工作(比如写病历摘要)表现更好,长流程、多系统联动任务是短板
- 隐私、权限类风险是高频隐患,上线医疗 AI 必须配套独立风控、人工复核机制
- 这个 Benchmark 主要用来横向对比模型,方便研发团队定向优化医疗智能体的流程能力
五、和普通医疗题库测试的区别
- 普通医疗考题:给题干,直接输出诊断、答案,属于静态单轮答题
- 本次 320 床模拟医院测试:动态环境,需要自主决定什么时候调用工具、怎么传数据、遵守权限,全程多轮交互,流程错一点就失败,难度高很多
【相关 FAQ】
问题 1:20 款前沿模型在 320 床模拟医院测试,第一名在 48 项测试任务里只完全通过 14 项,是不是代表 AI 完全不能用于医院?
回答 1:不是,20 款前沿模型在 320 床模拟医院测试第一名 48 项任务只完全通过 14 项,只能说明 AI 没办法独立完成整套医院运营闭环,AI 依然可以做辅助工作,比如病历整理、医嘱草稿、信息检索,但是必须有医护人员全程复核把关。
问题 2:这个 320 床模拟医院的 48 项测试任务,主要考的是 AI 看病诊断能力吗?
回答 2:不是,320 床模拟医院的 48 项测试任务重点是医院运营流程、跨系统工具调用、权限管控、收费床位调度这类运营工作,和单纯诊断看病的医学考题不是一类测试。
问题 3:为什么这些前沿大模型在 320 床模拟医院测试里,经常出现越权调取患者病历的问题?
回答 3:在 320 床模拟医院的 48 项任务测试里,前沿模型缺少对业务权限边界的稳定判断,模型只理解文字任务目标,很难持续记住哪些患者数据自己没有访问权限,长流程里容易忽略隐私管控规则,触发违规。
问题 4:Hospital-bench 这个 320 床模拟医院测试,能不能用来直接评判医疗 AI 能不能落地真实医院?
回答 4:Hospital-bench 这个 320 床模拟医院测试是标准化仿真基准,用来横向对比模型能力、定位短板,仿真环境和真实医院还有差异,不能单凭这个测试结果直接决定医疗 AI 能不能上线真实医院。
【参考资料】
[2026-11-21](Hospital-bench:20 个前沿 AI 模型在 320 床模拟医院测试结果)Sulat AI & Tech News
[2026-11-21](20 frontier AI models tested in simulated 320-bed hospital)Promppy
[2026-11-21](AI 智能体医院基准测试出炉,长流程任务通过率普遍偏低)机器之心
[2026-11-19](Zavo 发布 Hospital-bench 医疗智能体评测框架)Zavo 官方博客
【免责声明】
本文仅为 Hospital-bench 320 床模拟医院 AI 测试事件科普,测试是仿真环境下的标准化评测,不等于真实医院场景;测试结果仅代表这批模型在该套 48 项任务下的表现,不代表所有医疗 AI 产品能力;医疗 AI 落地需要医院、监管部门多重验证,本文不构成医疗系统采购、上线 AI 系统的决策依据。
