按年被提到
20172018 · 2 次2026
强化学习与智能体›深度强化学习与世界模型·arXiv:1706.03741 · stat.ML

Deep reinforcement learning from human preferences

基于人类偏好的深度强化学习
Paul Christiano, Jan Leike, Tom B. Brown, Miljan Martic, Shane Legg, Dario Amodei · 2017

用人对轨迹片段的成对偏好训练奖励,RLHF 的起点

开始阅读 ↗PDFalphaXiv 讨论
被推荐 · 6 人首次 2018-02-23 · 最近 2026-09-12
6不同的人
7活跃月份
7讨论串
1,058被引(OpenAlex)

把目标定义为非专家对成对轨迹片段的偏好,无需访问奖励函数即可解决复杂的 RL 任务,包括 Atari 游戏和模拟机器人运动,而人类反馈量不到智能体与环境交互的 1%。这大幅降低了人类监督的成本,约一小时的人类时间即可训练出新的复杂行为,其复杂程度超过此前从人类反馈中学到的行为。

HN 为什么提它

评论者把它当作 RLHF 的起点来引用,用它说明与其手工设计指标,不如从人类偏好里学出奖励,也有人指出它沿用了 Akrour 等早期偏好学习工作。

奠基之作难度 3 / 5约 35 分钟经得起时间
读之前最好知道
1强化学习基础
2奖励函数与奖励建模
3偏好学习(preference learning)
4深度神经网络

学习路径

读这篇之前,按顺序读书架上的 3 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

这条路径帮你先理解深度强化学习的基础算法和 AI 安全里的奖励问题,再读用人类偏好训练奖励。

  1. 1
    Concrete Problems in AI SafetyAI 安全中的具体问题 · 2016

    提出奖励设定错误等具体安全问题,是用人类偏好代替手写奖励的动机。

    读奖励黑客(reward hacking)与可扩展监督等问题。

  2. 2
    Playing Atari with Deep Reinforcement Learning用深度强化学习玩 Atari 游戏 · 2013

    深度 Q 网络,目标论文的实验在 Atari 上,需要了解其任务与训练设置。

    读Q 学习加卷积网络从像素学习的做法。

  3. 3
    Asynchronous Methods for Deep Reinforcement Learning深度强化学习的异步方法 · 2016

    异步 actor-critic 方法,是深度强化学习的主流基线之一。

    读actor-critic 的并行训练框架;不必深究所有变体。

  4. 4
    Deep reinforcement learning from human preferences基于人类偏好的深度强化学习 · 2017 · 就是这篇

    用人类对轨迹片段的成对偏好训练奖励模型,RLHF 的起点。

    读奖励模型的训练方式、偏好查询与策略学习交替进行的流程。

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
推荐sanxiyn · 2019-10

“The obvious answer is to learn the metrics itself too. OpenAI does interesting work in this area:”

认为显然应让模型自己学习度量,并举 OpenAI 此方向的工作
The problem with metrics is a big problem for AI原评论 ↗
引用gwern · 2018-07

“A recent example you might remember from the press:”

拿它作为媒体上报道过的近期例子,说明由人类偏好驱动的优化
Evolving Floorplans原评论 ↗
引用sgillen · 2019-03

“Have you seen this [0,1] paper on learning from human preferences?”

问对方是否看过这篇从人类偏好中学习的论文
Ask HN: Game devs, what is the hardest part about designing an AI for your game?原评论 ↗
引用jefftk · 2023-03

“The initial idea and paper [1] were from AI alignment folks, as was most of the later development [2][3][4][5].”

指出这篇原始论文及后续发展多出自 AI 对齐圈
Microsoft lays off an ethical AI team as it doubles down on OpenAI原评论 ↗
引用godelski · 2025-08

“Our algorithm follows the same basic approach as Akrour et al. (2012) and Akrour et al. (2014)”

引用论文自述,其算法沿用 Akrour 等人的基本思路
Curious about the training data of OpenAI's new GPT-OSS models? I was too原评论 ↗
引用reducesuffering · 2026-09

“[0], and newest board member of OpenAI, wasn't on HN, they were on LessWrong.”

借此论文说明相关作者活跃在 LessWrong 而非 HN,并提及 OpenAI 新董事
We must pace the frontier原评论 ↗
被提交为 story · 1 次