“Open AI does a pretty good job of summarizing the motivation in Learning to summarize from human feedback:”
Learning to summarize from human feedback
用人类偏好训练奖励模型并强化学习,摘要质量超过监督微调
收集大量人类对摘要的两两比较数据,训练奖励模型预测人更偏好的摘要,再以其为奖励用强化学习微调摘要策略。在 Reddit TL;DR 数据集上,模型明显优于人类参考摘要和规模更大的纯监督模型,并能迁移到 CNN/DM 新闻;优化奖励模型也比直接优化 ROUGE 得到更好的摘要。
HN 上的人把它当作 RLHF 的早期先例和动机说明,用来解释为什么按人类偏好微调比最大似然微调更好。
学习路径
读这篇之前,按顺序读书架上的 4 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出这条路径帮我建立 RLHF 摘要的前置知识:Transformer 与大模型预训练、PPO 强化学习算法,再到早期的人类偏好微调工作。
- 1
- 2
GPT-3 一类大规模预训练模型是目标论文的基座模型,也给出了摘要任务的少样本基线。
读抓预训练加提示的范式与规模效应;不必读完整个评测部分。
- 3
- 4
同一团队的早期工作:用人类偏好比较训练奖励模型并微调语言模型,目标论文是其在摘要上的扩展。
读抓奖励模型的训练方式、KL 惩罚项和整体流程;留意它遇到的数据质量问题。
- 5Learning to summarize from human feedback
目标论文:用大规模高质量的人类比较数据训练奖励模型,再用强化学习优化摘要。
读抓三步流程(收集比较、训练奖励模型、PPO 优化)、KL 惩罚,以及对过度优化奖励模型的分析。
HN 书评
推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及“as was most of the later development [2][3][4][5].”
“Specifically, we use reinforcement learning from human feedback (RLHF; Christiano et al., 2017; Stiennon et al., 2020) to fine-tune GPT-3 to follow a broad class of written instructions (see Figure 2).”
- Learning to Summarize from Human Feedback ↗pedrodelfino · 2020-09-16 · 2 分
- Learning to Summarize from Human Feedback ↗georgehill · 2023-03-04 · 3 分