推荐ratg13 · 2023-11
“This is the one you want”
推荐这篇逐步验证的论文,并把它与 Q* 联系起来
过程监督胜过结果监督,训练更可靠的数学推理模型
论文比较结果监督和过程监督两种训练可靠模型的方式,发现在 MATH 数据集上,过程监督明显优于结果监督:过程监督模型解出了代表性测试子集中 78% 的题目,主动学习还能进一步显著提升过程监督的效果。作者同时发布 PRM800K,包含 80 万条用于训练最佳奖励模型的人类逐步反馈标签。
评论者把它当作 OpenAI 用步骤级验证和过程监督提升数学推理的代表论文,常拿来联系 Q* 讨论,或用来说明人工标注的数学步骤数据与合成数据的区别。
“This is the one you want”
“I’ll give you a 1% chance of winning with this paper from OpenAI: [0] with the MATH dataset: [1]”
“anyone can read Let's Verify Step by Step, but not all synthetic data is created equal”
“[1] Let's Verify Step by Step”
“Here's a paper by OAI: Let's Verify Step by Step”