您的位置首页 >人工智能 >

SPU 史上最严湿实验预测基准发布,算力翻倍、推理拉满无法提升预测效果

UniPat AI 牵头推出名为 SPU(Science Prediction Universe)的湿实验预测基准,这次测试用 4207 份真实湿实验数据、116 个科研任务,覆盖化学、材料、生物、医学方向,测试了 12 款前沿大模型,结果发现就算把模型推理强度拉满、算力和调用成本提升大约 5 倍,AI 对湿实验结果的预测准确度几乎没有上涨,哪怕是当前最强的前沿模型,也只有一半任务的表现超过随机猜测,打破了行业里 “堆算力、加长推理就能提升 AI 科研预测能力” 的固有认知,这个基准和之前刷题式数据集不一样,全部采用没有泄露答案的真实实验,AI 要自主检索文献、做推导再预测结果,用来衡量 AI 真正的科研预判能力,而不是背诵已有文献,后续做 AI for Science 科研工具的时候,不能盲目靠加算力来换取效果,要重点优化模型对真实实验机制的理解。

一、SPU 湿实验预测基准基础信息清单

项目详情说明
基准名称Science Prediction Universe,简称 SPU
牵头团队UniPat AI,合作顾问来自斯坦福、哈佛、康奈尔等高校及生物科技企业
任务总量116 个独立科研任务,4207 组真实湿实验记录
覆盖学科化学、材料科学、生物学、基础医学
测试规则AI 自主检索文献、调用工具,单轮任务最长 8 小时,使用 H20 算力;答案不会提前内置在训练集里
测试模型数量一共 12 款主流前沿大模型

二、核心测试发现

  1. 算力投入和预测效果脱钩:测试 GPT-6 Astra 的时候,把推理开到最高档,运行耗时涨到原来 4.8 倍,API 调用成本涨到 5.3 倍,但是湿实验预测得分基本不变;模型大多在推理前期就锁定判断,后面再多的思考和计算很难修正结论。
  2. 整体模型上限很低:就算是性能最好的 Opus 5.5,也只有一半左右任务能跑赢随机猜测,大部分前沿模型在很多真实湿实验预测上表现拉胯。
  3. 和普通 AI 科研数据集区别很大:过往很多科学基准是公开文献里的已知结论,AI 相当于刷题背答案;SPU 用的是没有公开标准答案、线下实测的湿实验,更贴近科研人员真实试错场景。

三、SPU 基准的评估流程

  1. 下发科研任务:给到 AI 一组实验条件,比如反应配比、抗体变体、材料合成参数
  2. AI 自主研究:模型可以检索论文、调用计算工具,在 8 小时时限内自主规划推理路径
  3. 提交预测结果:输出对湿实验产出、产物收率、蛋白表达量等指标的预判
  4. 对照真实实验打分:拿线下湿实验实测结果作为标准答案,由领域专家统一评分

四、对 AI for Science 行业带来的变化

  • 算力不是万能:在真实湿实验预测这个场景,单纯提升推理 token、增加 GPU 资源,投入产出比极低
  • 评估标准升级:以后评价科研 AI,优先看在 SPU 这类封闭真实实验基准的表现,而不是只看文献问答、公式计算成绩
  • 研发方向调整:重点要做机理感知、实验因果推理,而不是一味做大模型规模、拉长思考链

【常见问题】

问题 1:SPU 史上最严湿实验预测基准,为什么算力翻 5 倍、推理拉满之后,湿实验预测效果不会上涨?

回答 1:在 SPU 史上最严湿实验预测基准测试中,AI 模型往往在推理前期就形成了基础判断,后续增加的算力、更长的推理链路大多只是重复校验,很难找到新的实验因果证据来修正预判,所以哪怕算力翻 5 倍,湿实验预测得分几乎没有提升。

问题 2:SPU 史上最严湿实验预测基准,和之前 AI 科学类基准数据集最大差别是什么?

回答 2:SPU 史上最严湿实验预测基准全部采用线下实测、没有提前泄露的真实湿实验数据,不是公开文献里已知结论的刷题题目,AI 没法靠背诵文献拿分,更贴近科研里预测未知实验结果的真实需求。

问题 3:在 SPU 史上最严湿实验预测基准测试里,目前表现最好的大模型,湿实验预测能力达到什么水平?

回答 3:在 SPU 史上最严湿实验预测基准测试里,表现最好的 Opus 5.5 也仅有一半左右任务能够超过随机猜测水平,说明当前前沿大模型对复杂湿实验背后的物理、生化机理预判能力还有很大短板。

问题 4:SPU 史上最严湿实验预测基准,会对 AI for Science 科研工具开发带来哪些影响?

回答 4:SPU 史上最严湿实验预测基准提醒开发者,不要盲目堆算力、无限拉长推理链来提升 AI 科研能力,后续研发重心要放在实验因果理解、生化机理建模上,同时行业会更多使用真实湿实验基准来考核科研 AI 的真实能力。

【参考资料】

[2026-11-14](“史上最严” 湿实验预测基准发布:推理拉满、算力翻 5 倍也白搭)量子位

[2026-11-14](“史上最严” 湿实验预测基准发布:推理拉满、算力翻 5 倍也白搭)36 氪

[2026-11-14](SPU 基准实测 12 款前沿模型,湿实验预测任务算力缩放失效)AI 地带

[2026-11-10](Science Prediction Universe 湿实验预测基准项目介绍)UniPat AI

【免责声明】

本文内容仅为 SPU 湿实验预测基准相关行业资讯,测试结果、模型表现、基准数据集规则以 UniPat AI 官方论文与项目文档为准;AI 科研预测仅能作为科研辅助参考,湿实验方案、生物化学相关研究必须由专业科研人员线下验证,不能直接采信 AI 预测结果。

今日大家都在搜的词: