按年被提到
20192023 · 3 次2026
大模型与语言模型›大模型预训练与缩放·arXiv:1909.08593 · cs.CL

Fine-Tuning Language Models from Human Preferences

根据人类偏好微调语言模型
Daniel M. Ziegler, Nisan Stiennon, Jeffrey Wu, Tom B. Brown, Alec Radford, Dario Amodei, Paul Christiano, Geoffrey Irving · 2019

早期 RLHF 工作:用人类偏好比较训练奖励模型来微调 GPT-2

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 5 人首次 2019-12-21 · 最近 2025-08-16
5不同的人
5活跃月份
6讨论串
995被引(OpenAlex)

论文把奖励学习应用到四个自然语言任务:续写带积极情感或物理描述性的文本,以及 TL;DR 和 CNN/Daily Mail 摘要。风格续写只用 5,000 次人工比较就取得不错效果;摘要任务中用 60,000 次比较训练的模型会照搬输入句子但跳过无关开头,ROUGE 合理、人工标注者评价很高,但可能利用了标注者依赖简单启发式的特点。

HN 为什么提它

HN 评论者把它当作 RLHF 的早期源头来追溯引用:用人类偏好比较训练奖励模型,再用 PPO 微调预训练的 GPT-2。

奠基之作难度 4 / 5约 50 分钟经得起时间
读之前最好知道
1强化学习与 PPO
2奖励模型(reward model)
3语言模型预训练(GPT-2)
4文本摘要与 ROUGE 指标

学习路径

读这篇之前,按顺序读书架上的 4 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

这条路径先建立 Transformer 语言模型与预训练微调的基础,再补上 PPO 和摘要任务的背景,然后读用人类偏好微调语言模型的早期 RLHF 工作。

  1. 1
    Attention Is All You Need注意力就是你所需要的一切 · 2017

    被微调的语言模型基于 Transformer 解码器。

    读自注意力与自回归生成的结构。

  2. 2
    Universal Language Model Fine-tuning for Text Classification面向文本分类的通用语言模型微调 · 2018

    预训练再微调的范式,论文是在此基础上用奖励学习去微调。

    读预训练语言模型迁移到下游任务的做法。

  3. 3

    论文用 PPO 来优化奖励模型给出的目标。

    读裁剪目标函数与策略更新;KL 约束在论文中的作用另行留意。

  4. 4
    Teaching Machines to Read and Comprehend教机器阅读与理解 · 2015

    摘要类任务用到的 CNN 与 Daily Mail 数据即来自这里。

    读数据构造方式,了解任务设定即可。

  5. 5
    Fine-Tuning Language Models from Human Preferences根据人类偏好微调语言模型 · 2019 · 就是这篇

    目标论文:用人类偏好比较训练奖励模型,再用强化学习微调 GPT-2。

    读奖励模型的训练、KL 惩罚、情感与摘要任务的结果。

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
批评gwern · 2019-12

“why spend the enormous effort running PPO to brute force the classifier to obtain desired text or image output”

Controlling Text Generation with Plug and Play Language Models原评论 ↗
引用jefftk · 2023-03

“as was most of the later development [2][3][4][5].”

引它说明后来的大部分发展都沿袭了这一工作
Microsoft lays off an ethical AI team as it doubles down on OpenAI原评论 ↗
引用mistercow · 2023-09

“if you trace the citations back to [1], you can see that the policy is initialized with a pretrained language model (in that case, GPT-2).”

追溯引用,说明 RLHF 策略由预训练 GPT-2 初始化
引用swyx · 2023-09

“2019 coauthor on RLHF Fine-Tuning Language Models from Human Preferences)”

在简历式介绍里列出作者 2019 年合著的 RLHF 论文
What OpenAI Really Wants原评论 ↗
引用ben_w · 2024-04

“is that these models are capable of self-correcting behaviour — we just don't do that live because that makes it much harder to research and to use”

认为这些模型有自我纠错能力,只是线上没有启用
When Will the GenAI Bubble Burst?原评论 ↗
引用ben_w · 2025-08

“Fine-Tuning Language Models from Human Preferences fig 1, and also section 4.4 for what can go wrong”

指路图 1 和 4.4 节,看奖励模型训练及可能出的问题
Anthropic's CEO says in 3-6 months, AI will write 90% of the code (March 2025)原评论 ↗