您的位置首页 >人工智能 >

姚期智杨植麟联手推出 TCSExam 基准 评测大模型数学科研能力

姚期智与杨植麟联合发布 TCSExam 评测基准,用 100 道理论计算机科研考题测试 9 款前沿大模型,最终结论是当下 AI 还没办法独立攻克数学领域的开放猜想,这个结果让很多数学家松了一口气。之前 OpenAI 放出大量 AI 产出的数学手稿,不少人担心 AI 很快就能独立解决重大数学猜想,直接替代数学家的核心科研工作,大家对 AI 的数学能力产生焦虑。TCSExam 这套基准用 Lean4 形式化证明器自动校验答案,分成四类科研任务,不只是简单做题,而是模拟真实数学和理论计算机的研究流程,想要看懂这套评测,先理解四类任务的区别,再看各模型得分,最后区分 “辅助证明” 和 “独立解决开放猜想” 两种能力边界。整体来看,这次评测不是否定 AI 的数学价值,而是明确了定位:AI 是数学家的科研助手,而不是能直接拿下顶尖开放难题的替代者,AI 可以帮忙写证明、构造方案、写求解器,但重大猜想突破依然需要人类主导。

TCSExam 四类评测任务清单

  1. 定理证明:给研究级命题,模型输出可被 Lean4 校验的完整形式化证明,无额外引理提示
  2. 求解器工程:让模型写出通用可复用算法程序,用大量测试用例验证正确性
  3. 数学构造:寻找更优构造方案,目标是超越现有公开的最优构造结果
  4. 开放猜想:测试模型能不能独立攻克学界还没有解决的公开猜想

参评大模型核心成绩对比表

模型定理证明成功率数学构造表现开放猜想能力
GPT-6 Astra70%部分构造优于人类基线无法独立解决开放猜想
Kimi K3.1 Pro38.3%完成图论构造优化无法独立解决开放猜想
其余 6 款参评模型最高 11.7%少量有效构造无法独立解决开放猜想

TCSExam 评测落地步骤

  1. 选题筛选:从近年理论计算机顶会论文里挑选 100 道真实科研难度题目,覆盖四大任务类型
  2. 标准化设置:统一采用 Lean4 形式化语言,依靠机器内核自动校验,减少人工主观打分偏差
  3. 批量跑测:9 款前沿大模型在相同条件下完成全部任务,记录每一题输出与校验结果
  4. 结果统计:统计证明通过率、构造优劣、程序可用性,整理横向对比数据
  5. 结论输出:确认现有模型可以完成部分定理证明、优化构造,但全部无法攻克开放猜想
  6. 开源开放:TCSExam 基准开源,其他研究者可以继续用这套标准测试新模型

核心认知区分清单

  • ✅ AI 能做:辅助写证明、生成算法、优化数学构造、快速试错、生成证明草稿
  • ❌ AI 做不到:独立自主攻克长期悬而未决的数学开放猜想
  • 边界:AI 产出的证明依然需要数学家核验、梳理思路,不能直接当成最终定论

【常见问题】

问题 1:姚期智杨植麟联手推出 TCSExam 基准,为什么说这个结果让数学家松了一口气?

回答 1:姚期智杨植麟联手推出 TCSExam 基准,评测证实当前所有参评大模型都没法独立攻克数学开放猜想,打消了大家担心 AI 快速取代数学家做核心科研的焦虑,所以数学家松了一口气。

问题 2:姚期智杨植麟联手的 TCSExam 基准,是怎么校验大模型数学证明答案的?

回答 2:姚期智杨植麟联手的 TCSExam 基准,依靠 Lean4 形式化证明器自动校验,不是人工阅卷,证明逻辑严格、可复现,避免主观判断带来的评分偏差。

问题 3:姚期智杨植麟联手的 TCSExam 评测里,大模型在数学科研上还有哪些可用价值?

回答 3:姚期智杨植麟联手的 TCSExam 评测显示,大模型可以完成部分定理证明、给出更优数学构造、编写求解算法程序,适合作为数学家的辅助工具,提升科研试错效率。

【参考资料】

[2026-11-11](姚期智杨植麟联手,让数学家松了一口气)钛媒体

[2026-11-11](姚期智杨植麟联手,让数学家松了一口气)新浪财经

[2026-11-10](9 个前沿大模型,如何证明人类数学极限?)科学网

[2026-11-09](姚期智杨植麟首次共同署名论文,Kimi 刷新一项图论构造公开最优结果)搜狐

[2026-11-05](TCSExam: Evaluating Frontier LLMs on the Full Range of TCS Research)arXiv

【免责声明】

本文仅为姚期智杨植麟 TCSExam 论文资讯整理,不构成数学科研、模型选型参考;本次评测仅覆盖指定 9 款模型、限定 TCS 领域考题,不代表所有数学场景能力;模型能力持续迭代,后续新模型表现可能发生变化,结论以论文原文和最新开源基准为准。

今日大家都在搜的词: