按年被提到
20222023 · 4 次2026
大模型与语言模型›大模型预训练与缩放·arXiv:2204.05862 · cs.CL

Training a Helpful and Harmless Assistant with Reinforcement Learning from Human Feedback

用人类反馈强化学习训练有用且无害的助手
Yuntao Bai, Andy Jones, Kamal Ndousse, Amanda Askell, Anna Chen, Nova DasSarma, Dawn Drain, Stanislav Fort, Deep Ganguli, Tom Henighan, Nicholas Joseph, Saurav Kadavath 等 31 人 · 2022

Anthropic 的 RLHF 对齐训练:偏好建模、在线迭代与鲁棒性分析

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 4 人首次 2023-03-22 · 最近 2023-09-12
4不同的人
3活跃月份
4讨论串
1,644被引(OpenAlex)

论文用偏好建模和人类反馈强化学习(RLHF)微调语言模型,使其成为有用且无害的助手。作者发现这种对齐训练几乎能提升所有 NLP 评测的表现,并与 Python 编码、摘要等专项技能的训练兼容。文中还探索了每周用新的人类反馈数据更新偏好模型与 RL 策略的迭代在线训练,并发现 RL 奖励与策略相对初始模型的 KL 散度平方根大致呈线性关系,此外分析了校准、相互竞争的目标和 OOD 检测等。

HN 为什么提它

评论者用它说明 RLHF 让 ChatGPT 这类模型更像工具,并引用“模型超过一定规模后对齐反而提升性能”(对齐税转负)的发现。

方法难度 3 / 5约 90 分钟经得起时间
读之前最好知道
1强化学习基础(策略、奖励)
2RLHF 与偏好模型(preference model)
3语言模型预训练与微调
4KL 散度

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用make3 · 2023-03

“ChatGPT is further trained with reinforcement from human feedback to make them more tool-like”

引用它说明 ChatGPT 经人类反馈强化学习后更像工具
Show HN: ChatLLaMA – A ChatGPT style chatbot for Facebook's LLaMA原评论 ↗
引用keskival · 2023-08

“starts to become negative at least when trained in RLHF”

引用它:对 RLHF 训练的大模型,对齐税会变为负值
The Poison of (LLMs) Alignment原评论 ↗
引用BoorishBears · 2023-09

“for models past a certain size, alignment increases performance: Training a Helpful and Harmless Assistant with Reinforcement Learning from Human Feedback.”

引用它说明模型超过一定规模后,对齐反而提升性能
Meta wants its open source AI model to be as capable as OpenAI’s best model原评论 ↗
被提交为 story · 1 次