“GRPO is cool for verifiable tasks, but is more about eliciting desired behaviors from the trained model than teaching completely new stuff to it. Does Reinforcement Learning Really Incentivize Reasoning Capacity in LLMs Beyond the Base Model?”
按年被提到
20252025 · 3 次2026
Does Reinforcement Learning Really Incentivize Reasoning Capacity in LLMs Beyond the Base Model?
强化学习真的能让 LLM 获得超出基础模型的推理能力吗?
Yang Yue, Zhiqi Chen, Rui Lu, Andrew Zhao, Zhaokai Wang, Yang Yue, Shiji Song, Gao Huang · 2025
用大 k 的 pass@k 发现 RLVR 并未让模型产生全新的推理能力
被提及 · 4 人首次 2025-04-24 · 最近 2026-07-29
4不同的人
5活跃月份
5讨论串
113被引(OpenAlex)
论文用大 k 值的 pass@k 为指标,在多个模型家族、RL 算法以及数学、代码和视觉推理基准上,系统检验 RLVR(可验证奖励强化学习)训练的模型的推理能力边界。结果发现,RLVR 模型在小 k(如 k=1)时优于基础模型,但 k 很大时基础模型的 pass@k 更高,说明推理能力来源并受限于基础模型;六种常见 RLVR 算法表现相近,且远未用尽基础模型的潜力。相比之下,蒸馏能从教师模型引入新的推理模式。
HN 为什么提它
评论者用它说明 RL(如 GRPO)更多是在激发基础模型已有的行为,而不是教会它全新的策略。
实证研究难度 4 / 5约 50 分钟经得起时间
读之前最好知道
1强化学习基础
2RLVR 与 GRPO / PPO
3pass@k 评估指标
4大语言模型的后训练与蒸馏
HN 书评
推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及引用anakin87 · 2025-05
认为 GRPO 适合可验证任务,但更多是引出已有行为而非教新东西,附论文佐证
引用hodgehog11 · 2026-03
“This argument, that LLMs can develop new crazy strategies using RLVR on math problems (like what happened with Chess), turns out to be false without a serious paradigm shift.”
拿它反驳 RLVR 能在数学上发展出新策略的说法,没有重大范式转变就不成立
引用thesz · 2026-07
“Surprisingly, we find that the current training setup does not elicit fundamentally new reasoning patterns.”
引用结论:当前训练设置并未引出根本性的新推理模式
被提交为 story · 2 次
- Does RL Incentivize Reasoning Capacity in LLMs Beyond the Base Model? ↗Anon84 · 2025-04-24 · 2 分
- Does Reinforcement Learning Incentivize Reasoning Capacity in LLMs? ↗Anon84 · 2025-06-24 · 2 分