按年被提到
20242024 · 2 次2026
大模型与语言模型›大模型推理与思维链·arXiv:2406.06592 · cs.CL

Improve Mathematical Reasoning in Language Models by Automated Process Supervision

通过自动化过程监督提升语言模型的数学推理
Liangchen Luo, Yinxiao Liu, Rosanne Liu, Samrat Phatale, Meiqi Guo, Harsh Lara, Yunxuan Li, Lei Shu, Yun Zhu, Lei Meng, Jiao Sun, Abhinav Rastogi · 2024

OmegaPRM:用 MCTS 自动采集过程监督数据以训练 PRM

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 3 人首次 2024-06-12 · 最近 2025-11-28
3不同的人
3活跃月份
3讨论串
118被引(OpenAlex)

论文针对过程监督数据依赖人工标注或逐步蒙特卡洛估计、成本过高的问题,提出分治式蒙特卡洛树搜索算法 OmegaPRM:用二分查找快速定位思维链中的首个错误,并平衡正负样本,自动收集了超过 150 万条过程监督标注来训练过程奖励模型(PRM)。配合加权自一致性,Gemini Pro 在 MATH500 上从 51% 提升到 69.4%,GSM8K 从 86.4% 提升到 93.6%;Gemma2 27B 在 MATH500 上从 42.3% 提升到 58.2%。

HN 为什么提它

有评论者提到 Google 去年的一篇论文,作为用过程奖励模型做自动化过程监督、提升数学推理的例子。

方法难度 4 / 5约 40 分钟有时效性
读之前最好知道
1思维链(chain-of-thought)
2奖励模型(ORM 与 PRM)
3蒙特卡洛树搜索(MCTS)
4强化学习基础

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用AlexCoventry · 2025-11

“Google had a paper about it last year [1].”

指出 Google 去年就有论文做过这类自动化过程监督
DeepSeekMath-V2: Towards Self-Verifiable Mathematical Reasoning [pdf]原评论 ↗
被提交为 story · 2 次