我先联网检索这个 “真实湿实验 Physical AI Verifier” 的最新消息。
我再补充一条独立报道,确认分数与实验规模口径一致。
先说答案:由律动造物(谢童博士)发起,新南威尔士大学、新加坡国立大学、洛桑联邦理工学院、加州大学伯克利分校联合牵头,13 个 AI for Science 前沿实验室共同参与的 AISLE(AI Scientists' Last Exam,AI 科学家的终极大考),已经跑完首轮真实物理验证。它做的事很硬:把 GPT、Claude、Gemini、DeepSeek 等 7 个大模型接进悉尼、新加坡等地的真实自动化实验室,模型出方案、设备执行、传感器回传数据、模型再决定下一步,累计完成 4079 次湿实验,设备运行 46626 分钟,相当于两台仪器各不间断跑 16 天。结果是这份成绩单很难看:完成全部湿实验维度评测的模型里,综合第一的 GPT 5.5 只拿到 41.19 分(满分 100);在带安全约束的实验优化任务中,所有参测模型的完整通过率是 0%;最难的一组八组分配方任务,54 次运行没有一次达标。更能说明问题的是同一模型在两个世界的落差 ——GPT 5.5 在干实验(计算推演)优化上能拿 90.74 分,换到湿实验只有 16.46 分。
为什么会出现这么陡的落差,得把 “虚拟推演” 和 “物理执行” 拆开看。
- 设备不是理想的:在计算机里 1+1 算一亿次都是 2,但自动化移液设备跑一亿次,结果绝不相同。设备会损耗、精度会漂移、测量带噪声,环境还会变。模型在模拟里学到的最优解,到了真机上可能直接失效。
- 因果链太长,一步错步步错:湿实验是一串前后依赖的动作,前一步移液偏了,后面所有读数都带偏。模型缺少 “中途发现异常并停下来校准” 的能力。
- 安全是过程合规,不是结果正确:AISLE 在颜色匹配任务里划了 “禁止进入的 RGB 区间” 并提前告知模型,结果模型仍然往里走。终点达标不等于过程合规,而现有模型基本没有过程约束意识。
- 鲁棒性没被真正测过:团队故意制造三次移液偏差,优化能力最强的 Gemini 三次都没能把实验拉回目标。这说明模型不会自我校准,只会按原计划往前冲。
- 多模态观测读不懂:光谱、图像这类原始观测需要专业解读,模型容易 “看见数据但读错含义”,甚至在发现异常后继续混用旧信息。
这次 “考试” 本身的设计,值得单独看一遍。
| 项目 | 内容 |
|---|---|
| 名称 | AISLE(AI Scientists' Last Exam) |
| 发起方 | 律动造物,谢童博士发起 |
| 联合牵头 | UNSW、NUS、EPFL、UC Berkeley |
| 参与机构 | 13 个 AI for Science 实验室,含 A-Lab 缔造者 Gerbrand Ceder、EPFL Philippe Schwaller、UCL 汪军,以及 NVIDIA、微软研究院、礼来研究人员 |
| 实验站点 | 2 处真实自动化实验室(悉尼、新加坡等地) |
| 参测模型 | GPT、Claude、Gemini、DeepSeek 等 7 个 |
| 实验规模 | 4079 次真实湿实验,设备运行 46626 分钟 |
| 定位 | 全球首个面向干湿实验闭环科学发现的公开基准 |
| 评测维度 | 实验优化、实验安全、自适应鲁棒性、多模态光谱推理 |
五类任务覆盖了从 “设计” 到 “执行” 再到 “读结果” 的完整链条。
| 任务 | 模型要做什么 | 考察什么 |
|---|---|---|
| 光学目标逆向设计 | 给定目标颜色,反解四组分到八组分配方 | 逆向设计与搜索效率 |
| pH 敏感配方优化 | 在 pH 约束下找最优配比 | 多目标优化 |
| 高黏度树脂定量移液 | 控制高黏度液体的移取体积 | 物理执行精度 |
| 主动 pKa 推断 | 自主设计实验测酸碱常数 | 主动实验设计 |
| 光谱 - 图像多模态推理 | 从光谱和图像里反推参数 | 观测解读能力 |
| 扰动与安全约束 | 隐藏移液偏差、禁入区间 | 鲁棒性与过程合规 |
成绩单按维度拆开看,问题更清楚。
| 指标 | 结果 |
|---|---|
| 湿实验综合最高分 | GPT 5.5,41.19 / 100 |
| 干实验 vs 湿实验(GPT 5.5) | 90.74 vs 16.46 |
| 安全约束任务完整通过率 | 全部模型 0% |
| 最难八组分配方 | 54 次运行 0 次达标 |
| 设备移液偏差测试 | 优化最强的 Gemini 三次均未恢复 |
| 整体分布 | 无模型在所有维度全面占优 |
这些失败模式对应的问题,也能反过来指导改进。
| 现象 | 背后的能力缺口 | 该补什么 |
|---|---|---|
| 明知禁区仍进入 | 约束不进入决策链 | 把安全约束写进每一步的可行性判断 |
| 设备偏差后不校准 | 缺异常检测与重规划 | 加在线校准、偏差识别、回滚重试 |
| 终点达标但过程违规 | 只优化结果 | 用过程指标做奖励,而不只看终态 |
| 光谱图像读错 | 观测到判断的映射弱 | 补领域观测数据与专用解码模型 |
| 干湿分差巨大 | 模拟与现实的域差 | 数字孪生 + 真实测量双向校准 |
想参与或复现,流程并不神秘,但每一步都要留痕。
- 接入统一 Harness:AISLE 提供统一的任务、动作、观测接口,模型通过同一套协议提交方案。
- 读任务、提假设:模型自己决定查什么文献、建什么模型、怎么排实验顺序。
- 先过数字孪生:每站配有对应模拟环境,先在仿真里筛方案,降低真实试错成本。
- 真机执行:由本地自动化设备执行,设备与控制流程保留各站点差异,不强行统一硬件。
- 测量回传:传感器数据回流给模型,作为下一轮的输入。
- 全程记录:每轮提出什么、是否执行到位、测到什么,都留档,用于复盘与横向比较。
- 多轮迭代:在预算内反复闭环,考的不是单次答对,而是持续逼近目标的能力。
说到底,AISLE 的价值不在 “又出了一个榜单”,而在它第一次把 “AI 能不能在物理世界里把实验做出来” 变成了可重复、可横向比较的分数。过去这块没有尺子:代码有单元测试,数学有标准答案,实验却受设备、误差和成本制约。现在 4079 次真实实验证明了两件事:一是大模型的语言能力并不能自动迁移成动手能力,干湿之间存在一条真实的鸿沟;二是这条鸿沟可以被量化、被定位到具体环节 —— 安全约束、异常恢复、观测解读,每一项都能单独改进。团队下一步已经把 Buchwald–Hartwig 偶联、CdS-MPA 量子点合成、固态电解质等更复杂的化学体系排进计划,真正的考验是模型能不能在更脏、更难、更不可预测的实验里保持稳定。
【常见问题】
问题 1:AISLE 这个 “AI 科学家终极大考” 到底是什么,和普通 AI 榜单有什么不同?
回答 1:AISLE 是全球首个面向干湿实验闭环科学发现的公开基准,由律动造物发起,UNSW、NUS、EPFL、UC Berkeley 联合牵头,13 个实验室参与。它不只让模型答题,而是把 7 个大模型接进真实自动化实验室,模型提方案、设备真执行、传感器回传结果、模型再决定下一步,首轮完成 4079 次湿实验。和普通榜单最大的不同是,它考的是物理世界里的动手能力,而不是语言层面的做题能力。
问题 2:为什么顶级模型在 AISLE 湿实验里只拿 41.19 分,干湿差距这么大?
回答 2:因为干实验靠推演,湿实验靠执行。GPT 5.5 在干实验优化上能拿 90.74 分,湿实验只有 16.46 分,差距来自设备漂移、测量噪声、长因果链和安全约束。真实移液会偏、环境会变,模型一旦按原计划往前冲,后面全部作废;AISLE 里最难的一组八组分配方,54 次运行没有一次达标。这说明语言能力不会自动变成实验能力,AISLE 把这条鸿沟量化了出来。
问题 3:AISLE 里所有模型安全通过率都是 0%,说明什么?
回答 3:说明模型缺少过程合规意识。AISLE 在颜色匹配任务中提前告知模型某些 RGB 区间属于禁入区域,模型仍然进入;终点可能达标,但过程已经违规。真实实验室里,这种 “明知故犯” 比答错更危险,因为一次越界可能污染样本、损坏设备甚至带来安全风险。AISLE 把安全作为独立维度打分,正是要把 “结果对” 和 “过程对” 分开考核。
问题 4:企业或实验室想用 AISLE 验证自己的 AI 科学家,该怎么开始?
回答 4:三步。第一,读官方仓库和论文,理解统一 Harness 的任务、动作、观测协议;第二,准备可接入的自动化实验站点或数字孪生环境,先在仿真里跑通闭环;第三,按五类任务和四个维度设计自己的评测组合,全程留存每轮方案、执行记录和测量数据,保证可复现。AISLE 已开放项目地址和 GitHub 仓库,适合做模型选型、能力诊断和迭代验证。
【参考资料】
- [2026-11-10](AI Scientists「终极大考」,全球首个真实湿实验的 Physical AI Verifier 来了)36 氪
- [2026-11-09](AI 科学家的最后一关:破解数学之后,能把实验做好吗?)DeepTech 深科技
- [2026-11-09](AI 科学家真实实验室测试:实验能力仍待检验)HyperAI 超神经
- [2026-11-07](AISLE benchmark: top AI models score 41/100 in real wet-lab tests)PicX AI News
免责声明:本文依据 AISLE 项目公开信息及多家媒体公开报道整理,分数、实验次数、设备时长等均为首轮评测公开口径,具体任务设置与评分细则以项目论文和官方仓库为准;参测模型版本与硬件条件可能影响结果,不同批次评测不保证完全可比。文中不构成对任何模型或机构的技术推荐与投资建议。
