按年被提到
20202023 · 3 次2026
大模型与语言模型›大模型评测与真实性·arXiv:2009.01325 · cs.CL

Learning to summarize from human feedback

从人类反馈中学习摘要
Nisan Stiennon, Long Ouyang, Jeff Wu, Daniel M. Ziegler, Ryan Lowe, Chelsea Voss, Alec Radford, Dario Amodei, Paul Christiano · 2020

用人类偏好训练奖励模型并强化学习,摘要质量超过监督微调

开始阅读 ↗PDFalphaXiv 讨论
被推荐 · 5 人首次 2020-09-16 · 最近 2025-08-11
5不同的人
4活跃月份
5讨论串
652被引(OpenAlex)

收集大量人类对摘要的两两比较数据,训练奖励模型预测人更偏好的摘要,再以其为奖励用强化学习微调摘要策略。在 Reddit TL;DR 数据集上,模型明显优于人类参考摘要和规模更大的纯监督模型,并能迁移到 CNN/DM 新闻;优化奖励模型也比直接优化 ROUGE 得到更好的摘要。

HN 为什么提它

HN 上的人把它当作 RLHF 的早期先例和动机说明,用来解释为什么按人类偏好微调比最大似然微调更好。

方法难度 3 / 5约 60 分钟经得起时间
读之前最好知道
1语言模型微调
2强化学习基础(策略梯度、PPO)
3奖励模型与偏好学习
4ROUGE 等摘要评测指标

学习路径

读这篇之前,按顺序读书架上的 4 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

这条路径帮我建立 RLHF 摘要的前置知识:Transformer 与大模型预训练、PPO 强化学习算法,再到早期的人类偏好微调工作。

  1. 1
    Attention Is All You Need注意力就是你所需要的一切 · 2017

    目标论文的策略和奖励模型都是 Transformer 语言模型。

    读抓自注意力与解码器结构,足够理解 GPT 类模型即可。

  2. 2
    Language Models are Few-Shot Learners语言模型是少样本学习者 · 2020

    GPT-3 一类大规模预训练模型是目标论文的基座模型,也给出了摘要任务的少样本基线。

    读抓预训练加提示的范式与规模效应;不必读完整个评测部分。

  3. 3

    PPO 是目标论文用来优化奖励的强化学习算法。

    读抓裁剪目标函数与重要性比率的思路。

  4. 4
    Fine-Tuning Language Models from Human Preferences根据人类偏好微调语言模型 · 2019

    同一团队的早期工作:用人类偏好比较训练奖励模型并微调语言模型,目标论文是其在摘要上的扩展。

    读抓奖励模型的训练方式、KL 惩罚项和整体流程;留意它遇到的数据质量问题。

  5. 5
    Learning to summarize from human feedback从人类反馈中学习摘要 · 2020 · 就是这篇

    目标论文:用大规模高质量的人类比较数据训练奖励模型,再用强化学习优化摘要。

    读抓三步流程(收集比较、训练奖励模型、PPO 优化)、KL 惩罚,以及对过度优化奖励模型的分析。

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
推荐alibero · 2023-01

“Open AI does a pretty good job of summarizing the motivation in Learning to summarize from human feedback:”

称 OpenAI 在这篇里把动机讲得很好,说明 RLHF 为何胜过最大似然微调
Some Remarks on Large Language Models – Yoav Goldberg原评论 ↗
引用jefftk · 2023-03

“as was most of the later development [2][3][4][5].”

把它列为 RLHF 后续发展链条中较早的一步
Microsoft lays off an ethical AI team as it doubles down on OpenAI原评论 ↗
引用godelski · 2025-08

“Specifically, we use reinforcement learning from human feedback (RLHF; Christiano et al., 2017; Stiennon et al., 2020) to fine-tune GPT-3 to follow a broad class of written instructions (see Figure 2).”

引用它作为 RLHF 的先例,用 RLHF 微调 GPT-3 以遵循指令
Curious about the training data of OpenAI's new GPT-OSS models? I was too原评论 ↗
被提交为 story · 2 次