按年被提到
20232023 · 6 次2026
大模型与语言模型›大模型预训练与缩放·arXiv:2305.18290 · cs.LG

Direct Preference Optimization: Your Language Model is Secretly a Reward Model

直接偏好优化:你的语言模型其实暗含一个奖励模型
Rafael Rafailov, Archit Sharma, Eric Mitchell, Stefano Ermon, Christopher D. Manning, Chelsea Finn · 2023

用简单分类损失替代 RLHF 的偏好对齐方法

开始阅读 ↗PDFalphaXiv 讨论
被推荐 · 12 人首次 2023-05-30 · 最近 2026-09-24发表于 neural information processing systems
12不同的人
7活跃月份
12讨论串
692被引(OpenAlex)

针对 RLHF 流程复杂且不稳定(先拟合奖励模型,再用强化学习最大化奖励并限制偏离原模型)的问题,提出对 RLHF 奖励模型的新参数化,使最优策略能以闭式解给出,从而只需一个简单的分类损失就能解决标准 RLHF 问题。由此得到的直接偏好优化(DPO)稳定、性能好、计算轻量,微调时不需要从模型采样或大量调超参。实验显示,DPO 在对齐人类偏好上与现有方法持平或更好,在控制生成情感上超过基于 PPO 的 RLHF,在摘要和单轮对话上匹配或提高回答质量,且实现和训练都简单得多。

HN 为什么提它

评论者把它当作不用强化学习的偏好对齐方法的代表,常用来说明绕开 RLHF 的一条更简单路径,并以此推测各家模型的微调方式。

方法难度 4 / 5约 60 分钟经得起时间
读之前最好知道
1RLHF 与奖励模型
2强化学习与 PPO 基础
3Bradley-Terry 偏好模型
4语言模型微调

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
推荐fnands · 2023-05

“Have you had a chance to look at the Direct Preference Optimization [1] pre-print?”

问对方有没有看过这篇预印本,一种不用 RLHF 的偏好优化方法
Ask HN: What's the best self hosted/local alternative to GPT-4?原评论 ↗
推荐wmwmwm · 2023-06

“There was an interesting paper recently suggesting that you can use a preference learning objective directly”

提到一篇有趣的论文:直接用偏好学习目标训练,效果与 RLHF 相当或更好
How RLHF Works原评论 ↗
推荐thinkzilla · 2025-08

“See the abstract of the DPO paper Direct Preference Optimization, and Figure 1 in the paper”

指向 DPO 的摘要和图 1,说明它是不用 RL 的 RLHF 直接替代方案
Dispelling misconceptions about RLHF原评论 ↗
引用column · 2024-01

“using the techniques described in the Direct Preference Optimization”

注明 dolphin 模型所用的 DPO 技术出处
Self-rewarding-lm-PyTorch: Self-Rewarding Language Model from MetaAI原评论 ↗
引用weitendorf · 2026-06

“You should note that Claude Design is most likely a DPO play: Direct Preference Optimization”

认为 Claude Design 很可能是用 DPO 做的
I design with Claude more than Figma now原评论 ↗
引用XTXinverseXTY · 2026-09

“Attack the RLHF problem with a simple classification loss: Direct Preference Optimization”

举例:用简单的分类损失解决 RLHF 问题
Ask HN: Any nerds out there who've read a lot of research papers?原评论 ↗
被提交为 story · 6 次