按年被提到
20232023 · 4 次2026
大模型与语言模型›大模型推理与思维链·arXiv:2305.20050 · cs.LG

Let's Verify Step by Step

一步一步验证
Hunter Lightman, Vineet Kosaraju, Yura Burda, Harri Edwards, Bowen Baker, Teddy Lee, Jan Leike, John Schulman, Ilya Sutskever, Karl Cobbe · 2023

过程监督胜过结果监督,训练更可靠的数学推理模型

开始阅读 ↗PDFalphaXiv 讨论
被推荐 · 10 人首次 2023-06-03 · 最近 2026-09-16
10不同的人
6活跃月份
10讨论串
483被引(OpenAlex)

论文比较结果监督和过程监督两种训练可靠模型的方式,发现在 MATH 数据集上,过程监督明显优于结果监督:过程监督模型解出了代表性测试子集中 78% 的题目,主动学习还能进一步显著提升过程监督的效果。作者同时发布 PRM800K,包含 80 万条用于训练最佳奖励模型的人类逐步反馈标签。

HN 为什么提它

评论者把它当作 OpenAI 用步骤级验证和过程监督提升数学推理的代表论文,常拿来联系 Q* 讨论,或用来说明人工标注的数学步骤数据与合成数据的区别。

实证研究难度 3 / 5约 40 分钟经得起时间
读之前最好知道
1大语言模型与思维链(chain-of-thought)
2奖励模型与 RLHF
3MATH 数学推理基准
4主动学习(active learning)

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
推荐ratg13 · 2023-11

“This is the one you want”

推荐这篇逐步验证的论文,并把它与 Q* 联系起来
Yann LeCun: Ignore the deluge of complete nonsense about Q*原评论 ↗
引用rvz · 2023-11

“I’ll give you a 1% chance of winning with this paper from OpenAI: [0] with the MATH dataset: [1]”

拿它作例子:OpenAI 在 MATH 数据集上用过程监督做数学推理
$10M AI Mathematical Olympiad Prize原评论 ↗
引用llmfan · 2024-08

“anyone can read Let's Verify Step by Step, but not all synthetic data is created equal”

指出论文谁都能读到,所以不算护城河,合成数据也不是都一样好
The Threat to OpenAI原评论 ↗
引用highfrequency · 2025-01

“[1] Let's Verify Step by Step”

引作人工标注数学解题数据的例子
Berkeley Researchers Replicate DeepSeek R1's Core Tech for Just $30: A Small Mod原评论 ↗
引用dilyevsky · 2026-09

“Here's a paper by OAI: Let's Verify Step by Step”

贴出 OpenAI 这篇论文:用步骤级人类反馈训练验证器可提升推理
Astra and Fable still hack on simple variants of alignment evals from 2025原评论 ↗
被提交为 story · 5 次