引用AlexCoventry · 2025-11
“Google had a paper about it last year [1].”
指出 Google 去年就有论文做过这类自动化过程监督
OmegaPRM:用 MCTS 自动采集过程监督数据以训练 PRM
论文针对过程监督数据依赖人工标注或逐步蒙特卡洛估计、成本过高的问题,提出分治式蒙特卡洛树搜索算法 OmegaPRM:用二分查找快速定位思维链中的首个错误,并平衡正负样本,自动收集了超过 150 万条过程监督标注来训练过程奖励模型(PRM)。配合加权自一致性,Gemini Pro 在 MATH500 上从 51% 提升到 69.4%,GSM8K 从 86.4% 提升到 93.6%;Gemma2 27B 在 MATH500 上从 42.3% 提升到 58.2%。
有评论者提到 Google 去年的一篇论文,作为用过程奖励模型做自动化过程监督、提升数学推理的例子。
“Google had a paper about it last year [1].”