按年被提到
20202020 · 4 次2026
数学、逻辑与理论›AI 数学与定理证明·arXiv:2009.03393 · cs.LG

Generative Language Modeling for Automated Theorem Proving

用于自动定理证明的生成式语言建模
Stanislas Polu, Ilya Sutskever · 2020

GPT-f:用 Transformer 语言模型为 Metamath 生成并检验证明

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 5 人首次 2020-09-09 · 最近 2023-10-27
5不同的人
6活跃月份
8讨论串
157被引(OpenAlex)

论文探索把基于 Transformer 的语言模型用于自动定理证明,动机是:自动证明器相比人类的主要局限是难以生成原创的数学项,而语言模型的生成能力可能弥补这一点。作者为 Metamath 形式化语言构建了证明器与证明助手 GPT-f 并分析其表现。GPT-f 找到的新的短证明被收进 Metamath 主库,据作者所知这是深度学习系统首次为形式数学社区贡献被采纳的证明。

HN 为什么提它

HN 评论者把 GPT-f 当作语言模型做形式化定理证明的代表案例,用来说明预训练(如在 arXiv 文本上)能显著提升证明表现,并与后来的 Baldur、COPRA 等并列。

方法难度 4 / 5约 45 分钟有时效性
读之前最好知道
1Transformer 语言模型(GPT)
2形式化证明与 Metamath
3自动定理证明
4预训练与微调

学习路径

读这篇之前,按顺序读书架上的 6 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

这条路径先建立 Transformer 与 GPT-3 的语言模型基础,再回顾用深度学习做前提选择和证明搜索的先行工作,最后读 GPT-f 如何在 Metamath 上生成证明。

  1. 1
    Attention Is All You Need注意力就是你所需要的一切 · 2017

    GPT-f 是基于 Transformer 的语言模型。

    读解码器端的自注意力与自回归生成。

  2. 2
    Language Models are Few-Shot Learners语言模型是少样本学习者 · 2020

    GPT-f 沿用 GPT 系列的生成式预训练思路,并受其规模效应启发。

    读大规模自回归预训练与少样本能力;不必细读各基准。

  3. 3
    DeepMath - Deep Sequence Models for Premise SelectionDeepMath:用于前提选择的深度序列模型 · 2016

    最早把深度序列模型用于定理证明的前提选择,是 GPT-f 的前身思路。

    读用序列模型给前提打分的做法与实验设置。

  4. 4

    同样面向 Metamath 的神经证明器,是 GPT-f 直接对比的前驱。

    读证明搜索的整体结构,以及它如何生成和选择证明步骤。

  5. 5
    HOList: An Environment for Machine Learning of Higher-Order Theorem ProvingHOList:高阶定理证明的机器学习环境 · 2019

    给出神经定理证明的环境和基准,方便理解该领域的评测方式。

    读环境接口与 DeepHOL 证明器的基本流程。

  6. 6
    Deep Learning for Symbolic Mathematics用于符号数学的深度学习 · 2019

    用序列模型处理符号数学,与 GPT-f 生成数学表达式的动机相近。

    读把数学表达式表示成序列的方式与结果。

  7. 7
    Generative Language Modeling for Automated Theorem Proving用于自动定理证明的生成式语言建模 · 2020 · 就是这篇

    目标论文:用 Transformer 语言模型生成并检验 Metamath 证明。

    读证明表示、搜索与检验流程,以及被主库接受的新证明。

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用gwern · 2020-09

“OA has done that, as 'GPT-f': Generative Language Modeling for Automated Theorem Proving”

指出 OpenAI 做过这件事,即 GPT-f,由 Lean 验证生成的证明
At the International Mathematical Olympiad, computers prepare to go for the gold原评论 ↗
引用Veedrac · 2020-11

“Section 4.7.1 shows this is entirely feasible for neural networks, though the technique is very different.”

引用第 4.7.1 节,说明神经网络完全可以复用已学的证明知识,只是技术不同
AI Expert Roadmap原评论 ↗
引用Veedrac · 2021-01

“GPT-f[1] was doing Metamath proofs on 9-digit division (again, a vastly harder context, they involve ~10k proof steps) with 50-50 accuracy”

引用 GPT-f 在 Metamath 上证明九位数除法达到五五开的准确率
DALL·E: Creating Images from Text原评论 ↗
引用gwern · 2021-06

“GPT-f already gets a big performance boost from pretraining on Arxiv etc”

拿它说明 GPT-f 在 arXiv 等数据上预训练已获得明显性能提升
Mathematicians welcome computer-assisted proof in ‘grand unification’ theory原评论 ↗
引用gwern · 2022-06

“There are increasing experiments in making DRL agents exploit or initialize from pretrained language models”

把它列为让 DRL 智能体利用预训练语言模型的实验之一
The NetHack Challenge: Dungeons, Dragons, and Tourists (2021)原评论 ↗
引用aSanchezStern · 2023-10

“but if you're specifically looking for the LLM's that have been big recently, there's GPT-f, Baldur ([OTHER_PAPER]), and COPRA ([OTHER_PAPER])”

把 GPT-f 与 Baldur、COPRA 并列为近来重要的定理证明 LLM
Lean4 helped Terence Tao discover a small bug in his recent paper原评论 ↗
被提交为 story · 2 次