这篇 arxiv 综述《A Survey of LLM-based Formal Theorem Proving Methods》专门梳理大模型做形式化定理证明的整套技术方案,它把 LLM 和 Lean、Isabelle、Rocq(原 Coq)这类交互式证明助手 ITP 结合,目标是自动生成可以被证明器内核核验的严谨证明脚本,和普通数学推理不一样,形式化证明每一步都要过逻辑校验,不能出现自然语言里的幻觉式推导,这个方向也是程序验证、高可靠数学证明的核心方向。单纯让 LLM 直接输出证明代码很容易写出语法错误、逻辑跳步、引用错误引理,所以现在主流方案都会搭配搜索、检索、反馈迭代、智能体分解等手段,用证明助手的报错信息反过来修正模型输出。这篇综述把任务拆成自动形式化、引理检索、证明草图生成、战术搜索、反馈自校正几个模块,对比不同训练范式、搜索策略、数据集,同时点明现存痛点:高质量形式化证明样本少、复杂长证明成功率低、自然语言命题转形式语句容易语义跑偏。做程序验证、AI 数学研究的开发者,可以参考这篇综述挑选基线模型、选择 benchmark,优先采用 “模型生成 + 证明器校验 + 错误回传” 的闭环方案,不要直接信任 LLM 单次输出的证明。
LLM 形式化定理证明主流技术路线清单
- 监督微调基线方案:用已有的形式化证明语料微调 LLM,直接生成战术序列,代表是 GPT-f,适合简单短证明,长证明容易失效
- 检索增强方案:LeanDojo+ReProver,从数学库检索匹配引理,减少模型瞎选前提的问题,是现在最常用基线
- 搜索耦合方案:树搜索、超树证明搜索,模型做候选战术采样,搜索器做路径探索,提升长证明通过率
- 递归草图分解方案:先生成带占位符 sorry 的证明大纲,再逐层解决子目标,代表 POETRY、DeepSeek-Prover-V2,适合复杂定理
- 反馈校正闭环方案:把证明器返回的报错信息喂给 LLM,多轮迭代修改证明脚本,降低语法和逻辑错误
- 智能体多角色方案:LLM 分工做命题翻译、引理查找、战术生成、结果校验,适合开放数学问题
主流交互式证明助手对比表
| 证明助手 | 底层逻辑 | 常用证明风格 | 配套数据集 / 工具 | LLM 生态成熟度 |
|---|---|---|---|---|
| Lean4 | 依赖类型论 | 战术为主 | LeanDojo、mathlib、miniF2F | ★★★★★ |
| Isabelle/HOL | 高阶逻辑 | 声明式 + 战术 | PISA、AFP 库 | ★★★★☆ |
| Rocq(Coq) | 构造演算 | 战术 | CoqGym | ★★★☆☆ |
| Metamath | 集合论 | 原始证明项 | GPT-f 早期数据集 | ★★☆☆☆ |
主流评测数据集
| 数据集 | 适用证明器 | 难度定位 | 样本规模 |
|---|---|---|---|
| miniF2F | Lean、Metamath、Isabelle | 竞赛数学基础题 | 488 条 |
| ProofNet | Lean | 自然语言命题 - 形式证明对齐 | 371 组 |
| PutnamBench | Lean4、Isabelle | 本科竞赛难题 | 640 条定理 |
| ProverBench | Lean4 | 教材习题 + AIME 考题 | 325 条 |
LLM 形式化定理证明标准开发流程
- 确定目标证明器:优先 Lean4,生态和公开数据集最多
- 准备数据集:选定 benchmark,区分训练集、验证集、测试集,做好引理依赖隔离
- 选定范式:原型测试用检索增强 ReProver;复杂定理用递归草图 + 树搜索
- 模型生成战术 / 证明草图,送入 ITP 内核校验
- 捕获报错、子目标状态,回传给 LLM 做修正或者重新采样
- 多轮搜索迭代,直到证明成功或者搜索预算耗尽
- 使用 pass@k、证明长度、引理利用率等指标做定量评估
【相关 FAQ】
问题 1:这篇 LLM 形式化定理证明方法综述,LLM 形式化定理证明和普通数学解题有什么核心差别?
回答 1:LLM 形式化定理证明产出的证明脚本,必须交给 Lean、Isabelle 这类交互式证明助手逐行核验,逻辑不成立直接报错;普通数学大模型只输出自然语言答案,没有机器强制校验,容易出现幻觉跳步,综述里明确区分了二者。
问题 2:LLM 形式化定理证明现在最主流的模型和工具链是什么,综述里有没有重点介绍?
回答 2:LLM 形式化定理证明目前主流是 Lean4 工具链,搭配 LeanDojo、ReProver、DeepSeek-Prover 系列模型,同时检索增强、递归草图分解是综述重点介绍的有效方案。
问题 3:做 LLM 形式化定理证明实验,一般用哪些基准数据集?
回答 3:LLM 形式化定理证明实验最常用 miniF2F,进阶测试会用 ProofNet、PutnamBench、ProverBench,综述里对这些数据集的难度、适用证明器做了横向对比。
问题 4:LLM 形式化定理证明最大的难点是什么?
回答 4:LLM 形式化定理证明的核心难点包括高质量形式化数据稀缺、长证明容易断链、自然命题自动形式化容易语义错位、引理选择错误,也是这篇综述重点总结的待解决问题。
【参考资料】
[2026-11-21](A Survey of LLM-based Formal Theorem Proving Methods)阿里云开发者社区
[2026-07-08](From Solvers to Research: Large Language Model-Driven Formal Mathematics at the Research Frontier)arXiv
[2026-04-01](大模型驱动的形式化定理证明:综述与展望)计算机科学
[2025-09-22](Hilbert: Recursively Building Formal Proofs with Informal Reasoning)arXiv
[2025-05-22](Autoformalization in the Era of Large Language Models: A Survey)arXiv
[2023-11-01](LeanDojo: Theorem Proving with Retrieval-Augmented Language Models)NeurIPS
【免责声明】
本文内容基于《A Survey of LLM-based Formal Theorem Proving Methods》以及 arXiv 公开论文、公开基准资料整理,所有模型成功率、数据集特性、证明器适配效果仅为学术综述层面总结;LLM 形式化定理证明的实际效果受模型权重、搜索预算、版本、mathlib 库版本影响,高可靠场景落地前必须独立复现、严格核验,本文不构成工程选型、安全验证的决策依据。
