“The obvious answer is to learn the metrics itself too. OpenAI does interesting work in this area:”
Deep reinforcement learning from human preferences
用人对轨迹片段的成对偏好训练奖励,RLHF 的起点
把目标定义为非专家对成对轨迹片段的偏好,无需访问奖励函数即可解决复杂的 RL 任务,包括 Atari 游戏和模拟机器人运动,而人类反馈量不到智能体与环境交互的 1%。这大幅降低了人类监督的成本,约一小时的人类时间即可训练出新的复杂行为,其复杂程度超过此前从人类反馈中学到的行为。
评论者把它当作 RLHF 的起点来引用,用它说明与其手工设计指标,不如从人类偏好里学出奖励,也有人指出它沿用了 Akrour 等早期偏好学习工作。
学习路径
读这篇之前,按顺序读书架上的 3 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出这条路径帮你先理解深度强化学习的基础算法和 AI 安全里的奖励问题,再读用人类偏好训练奖励。
- 1
- 2
深度 Q 网络,目标论文的实验在 Atari 上,需要了解其任务与训练设置。
读Q 学习加卷积网络从像素学习的做法。
- 3
异步 actor-critic 方法,是深度强化学习的主流基线之一。
读actor-critic 的并行训练框架;不必深究所有变体。
- 4Deep reinforcement learning from human preferences
用人类对轨迹片段的成对偏好训练奖励模型,RLHF 的起点。
读奖励模型的训练方式、偏好查询与策略学习交替进行的流程。
HN 书评
推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及“A recent example you might remember from the press:”
“Have you seen this [0,1] paper on learning from human preferences?”
“The initial idea and paper [1] were from AI alignment folks, as was most of the later development [2][3][4][5].”
“Our algorithm follows the same basic approach as Akrour et al. (2012) and Akrour et al. (2014)”
“[0], and newest board member of OpenAI, wasn't on HN, they were on LessWrong.”
- Deep reinforcement learning from human preferences ↗gwern · 2018-02-23 · 3 分