按年被提到
20232023 · 3 次2026
数学、逻辑与理论›AI 数学与定理证明·arXiv:2303.04910 · cs.LG

Baldur: Whole-Proof Generation and Repair with Large Language Models

Baldur:用大语言模型生成并修复整段证明
Emily First, Markus N. Rabe, Talia Ringer, Yuriy Brun · 2023

用 LLM 一次生成整段形式化证明并借错误信息修复

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 4 人首次 2023-03-12 · 最近 2024-01-07
4不同的人
4活跃月份
4讨论串
107被引(OpenAlex)

论文提出用大语言模型自动化形式化验证:在文本与代码上训练、再在证明上微调的模型,一次性生成定理的整段证明,而不是一步步预测再搜索,并配合微调的修复模型修复生成的证明。作者展示整段证明生成与基于搜索的方法同样有效且无需昂贵搜索,把先前失败的证明和错误信息作为额外上下文能进一步提升。在 6,336 条 Isabelle/HOL 定理的基准上,原型 Baldur 比此前最优工具 Thor 多证明了 8.7% 的定理,二者合计可全自动证明 65.7%。

HN 为什么提它

评论者在列举近来重要的 LLM 定理证明工作时,把 Baldur 与 GPT-f 并列提及。

方法难度 4 / 5约 45 分钟经得起时间
读之前最好知道
1证明助手(Coq、Isabelle/HOL)
2形式化验证基础
3大语言模型微调
4自动定理证明与证明搜索

学习路径

读这篇之前,按顺序读书架上的 6 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

先看 Transformer 与大语言模型,再看 Baldur 所用的 Minerva,以及此前神经证明搜索的工作,最后读整段证明的生成与修复。

  1. 1
    Attention Is All You Need注意力就是你所需要的一切 · 2017

    Baldur 使用的大语言模型都是 Transformer。

    读自回归 Transformer 如何生成长序列。

  2. 2
    Language Models are Few-Shot Learners语言模型是少样本学习者 · 2020

    说明大模型在提示下无需微调即可完成任务,是 Baldur 使用 LLM 生成证明的背景。

    读少样本提示和模型规模带来的能力。

  3. 3
    PaLM: Scaling Language Modeling with PathwaysPaLM:用 Pathways 扩展语言模型 · 2022

    Minerva 建立在 PaLM 上,理解 Baldur 的底座需要先了解它。

    读模型规模与它在少样本任务上的表现。

  4. 4
    Solving Quantitative Reasoning Problems with Language Models用语言模型解决定量推理问题 · 2022

    Baldur 的底层大模型是在技术文本上继续训练的 Minerva。

    读在数学与科学文本上继续训练的方式。

  5. 5
    Generating Correctness Proofs with Neural Networks用神经网络生成正确性证明 · 2019

    Proverbot9001 是早期机器学习自动生成 Coq 证明的系统,Baldur 以它作为对比。

    读逐步预测证明策略并做搜索的思路。

  6. 6

    代表神经定理证明里逐步搜索证明的路线,与 Baldur 一次生成整段证明相对。

    读逐步搜索证明的方式,以及它与整段生成的差异。

  7. 7
    Baldur: Whole-Proof Generation and Repair with Large Language ModelsBaldur:用大语言模型生成并修复整段证明 · 2023 · 就是这篇

    目标论文:用大模型一次生成整段形式化证明并借错误信息修复。

    读整段证明生成、微调方式,以及用 Coq 报错信息修复证明的流程。

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用aSanchezStern · 2023-10

“if you're specifically looking for the LLM's that have been big recently, there's GPT-f ([OTHER_PAPER]), Baldur”

把 Baldur 列为近期热门的 LLM 证明生成工作之一
Lean4 helped Terence Tao discover a small bug in his recent paper原评论 ↗
被提交为 story · 3 次