姚期智与杨植麟联合发布 TCSExam 评测基准,用 100 道理论计算机科研考题测试 9 款前沿大模型,最终结论是当下 AI 还没办法独立攻克数学领域的开放猜想,这个结果让很多数学家松了一口气。之前 OpenAI 放出大量 AI 产出的数学手稿,不少人担心 AI 很快就能独立解决重大数学猜想,直接替代数学家的核心科研工作,大家对 AI 的数学能力产生焦虑。TCSExam 这套基准用 Lean4 形式化证明器自动校验答案,分成四类科研任务,不只是简单做题,而是模拟真实数学和理论计算机的研究流程,想要看懂这套评测,先理解四类任务的区别,再看各模型得分,最后区分 “辅助证明” 和 “独立解决开放猜想” 两种能力边界。整体来看,这次评测不是否定 AI 的数学价值,而是明确了定位:AI 是数学家的科研助手,而不是能直接拿下顶尖开放难题的替代者,AI 可以帮忙写证明、构造方案、写求解器,但重大猜想突破依然需要人类主导。
TCSExam 四类评测任务清单
- 定理证明:给研究级命题,模型输出可被 Lean4 校验的完整形式化证明,无额外引理提示
- 求解器工程:让模型写出通用可复用算法程序,用大量测试用例验证正确性
- 数学构造:寻找更优构造方案,目标是超越现有公开的最优构造结果
- 开放猜想:测试模型能不能独立攻克学界还没有解决的公开猜想
参评大模型核心成绩对比表
| 模型 | 定理证明成功率 | 数学构造表现 | 开放猜想能力 |
|---|---|---|---|
| GPT-6 Astra | 70% | 部分构造优于人类基线 | 无法独立解决开放猜想 |
| Kimi K3.1 Pro | 38.3% | 完成图论构造优化 | 无法独立解决开放猜想 |
| 其余 6 款参评模型 | 最高 11.7% | 少量有效构造 | 无法独立解决开放猜想 |
TCSExam 评测落地步骤
- 选题筛选:从近年理论计算机顶会论文里挑选 100 道真实科研难度题目,覆盖四大任务类型
- 标准化设置:统一采用 Lean4 形式化语言,依靠机器内核自动校验,减少人工主观打分偏差
- 批量跑测:9 款前沿大模型在相同条件下完成全部任务,记录每一题输出与校验结果
- 结果统计:统计证明通过率、构造优劣、程序可用性,整理横向对比数据
- 结论输出:确认现有模型可以完成部分定理证明、优化构造,但全部无法攻克开放猜想
- 开源开放:TCSExam 基准开源,其他研究者可以继续用这套标准测试新模型
核心认知区分清单
- ✅ AI 能做:辅助写证明、生成算法、优化数学构造、快速试错、生成证明草稿
- ❌ AI 做不到:独立自主攻克长期悬而未决的数学开放猜想
- 边界:AI 产出的证明依然需要数学家核验、梳理思路,不能直接当成最终定论
【常见问题】
问题 1:姚期智杨植麟联手推出 TCSExam 基准,为什么说这个结果让数学家松了一口气?
回答 1:姚期智杨植麟联手推出 TCSExam 基准,评测证实当前所有参评大模型都没法独立攻克数学开放猜想,打消了大家担心 AI 快速取代数学家做核心科研的焦虑,所以数学家松了一口气。
问题 2:姚期智杨植麟联手的 TCSExam 基准,是怎么校验大模型数学证明答案的?
回答 2:姚期智杨植麟联手的 TCSExam 基准,依靠 Lean4 形式化证明器自动校验,不是人工阅卷,证明逻辑严格、可复现,避免主观判断带来的评分偏差。
问题 3:姚期智杨植麟联手的 TCSExam 评测里,大模型在数学科研上还有哪些可用价值?
回答 3:姚期智杨植麟联手的 TCSExam 评测显示,大模型可以完成部分定理证明、给出更优数学构造、编写求解算法程序,适合作为数学家的辅助工具,提升科研试错效率。
【参考资料】
[2026-11-11](姚期智杨植麟联手,让数学家松了一口气)钛媒体
[2026-11-11](姚期智杨植麟联手,让数学家松了一口气)新浪财经
[2026-11-10](9 个前沿大模型,如何证明人类数学极限?)科学网
[2026-11-09](姚期智杨植麟首次共同署名论文,Kimi 刷新一项图论构造公开最优结果)搜狐
[2026-11-05](TCSExam: Evaluating Frontier LLMs on the Full Range of TCS Research)arXiv
【免责声明】
本文仅为姚期智杨植麟 TCSExam 论文资讯整理,不构成数学科研、模型选型参考;本次评测仅覆盖指定 9 款模型、限定 TCS 领域考题,不代表所有数学场景能力;模型能力持续迭代,后续新模型表现可能发生变化,结论以论文原文和最新开源基准为准。
