图灵奖得主姚期智和月之暗面创始人杨植麟首次联合发布 TCSExam 评测基准,这套基准一共 100 道理论计算机方向的博士级科研考题,用来检验顶尖大模型能不能做真正的数学科研,不只是简单刷题,在极值图论构造题目里,Kimi K3 成功构造出 124 个顶点、630 条边的图,满足图内不存在三角形、四边形的硬性约束,打破之前 629 条边的人类公开记录,这条多出来的边看着数量很少,但想要加上它,整个图的全部连接结构都要重新调整,任何一处改动都容易违规,结果经过程序核验,这个构造是成立的,这次评测一共拉来 9 款主流大模型参与,所有题目都用 Lean4 和自动校验程序判分,不靠人工主观打分,虽然 Kimi 在构造任务上拿到亮眼成果,但面对 30 道开放猜想难题,没有任何 AI 可以独立完成完整证明,AI 目前更适合做构造、辅助证明这类细分环节,还没法独立攻克顶级数学猜想。
TCSExam 考题分类清单
| 题型 | 题量 | 任务说明 | 校验方式 |
|---|---|---|---|
| 定理证明 | 20 题 | 写出可被 Lean4 核验的严格形式化证明 | Lean4 内核自动校验逻辑 |
| 求解器工程 | 30 题 | 编写通用算法程序,批量解决一类问题 | 批量测试用例验证程序正确性 |
| 显式构造 | 20 题 | 构造符合约束的数学对象,比如图、编码 | 程序核验构造结果满足约束条件 |
| 开放猜想 | 30 题 | 对未解决的数学猜想给出证明或者反例 | 严格证明核验,完成即得分 |
Kimi 刷新记录的图论题目详情
- 题目约束:一共 124 个顶点,连线之后图里不能出现三角形、四边形
- 旧记录:629 条边,长期被学界当成接近极限的构造
- Kimi 结果:630 条边,全部约束条件满足,程序核验通过
- 难度特点:极值图论的边界非常敏感,新增任意一条边,都有可能局部形成禁止的环,需要整体重构图结构
- 模型版本:Kimi K3
参与评测的模型整体表现
- GPT-6 Astra:定理证明表现最强,20 道定理题完成 14 道,成功率 70%,同时改进量子纠错码构造
- Kimi K3.1 Pro:综合得分 57.4 分,构造任务成功率很高,定理证明成功率 38.3%
- Kimi K3:构造任务能力突出,完成这次 630 边图论构造,定理证明成功率 11.7%
- 其余参评模型:DeepSeek、Qwen 等,定理证明成功率普遍偏低
TCSExam 评测的核心意义
- 区别于普通数学题库,考题全部是科研级任务,对标博士阶段理论计算机研究工作
- 评判体系自动化,避免人工打分带来的主观偏差,结果可复现
- 分清 AI 能力边界:AI 可以做好数学构造、辅助证明、写求解器,但还不能独立攻克悬而未决的开放猜想
- 基准已经开源,后续可以用来持续测试新模型的数学科研能力
【常见问题】
问题 1:姚期智杨植麟这套博士级考题里,Kimi 多画出的关键一条边是什么意思?
回答 1:姚期智杨植麟这套博士级考题是 TCSExam,Kimi 在极值图论构造题中,在 124 个顶点的图里,构造出 630 条边,比之前人类最好记录多一条,并且图里没有三角形、四边形,这条就是大家说的关键一条边。
问题 2:姚期智杨植麟联手推出的 TCSExam 博士级考题,全部题目 AI 都能独立解出来吗?
回答 2:姚期智杨植麟的 TCSExam 博士级考题里,构造类题目 Kimi 等模型拿到新成果,但是 30 道开放猜想难题,没有任何 AI 独立完成证明,AI 还存在明显能力上限。
问题 3:Kimi 多画出这条关键一条边,是不是代表 AI 已经可以独立解决全部图论难题?
回答 3:Kimi 多画出这条关键一条边,只是在这一道特定极值构造题上刷新记录,不代表 AI 能搞定所有图论问题,复杂定理证明、开放猜想依旧很难独立完成。
问题 4:姚期智杨植麟的 TCSExam 博士级考题,用什么方式判断 AI 答案对错?
回答 4:姚期智杨植麟的 TCSExam 博士级考题,依靠 Lean4 形式化证明内核和自动化程序校验,机器自动核验,不是人工主观判断答案好坏。
【参考资料】
[2026-11-12](姚期智杨植麟首次联手给 AI 出的博士级题目,Kimi 多画出了「关键一条边」)新浪科技
[2026-11-11](姚期智杨植麟联手,让数学家松了一口气)36 氪
[2026-11-10](9 个前沿大模型,如何证明人类数学极限?)国际科技创新中心
[2026-11-05](TCSExam:Evaluating Frontier LLMs on the Full Range of TCS Research)arXiv
【免责申明】
本文仅整理公开论文与行业资讯,TCSExam 基准测试结果、大模型数学能力存在局限性,不代表 AI 可以替代数学家开展全部理论研究,完整论文、测试细节请以 arXiv 原文和项目开源仓库为准。
