“So, how does this impact Deliberative Alignment[1], where IIUC the intermediate tokens are assessed (eg for referencing the appropriate policy fragment)?”
Deliberative Alignment: Reasoning Enables Safer Language Models
让模型先回忆并推理安全规范再作答的对齐方法
论文提出 Deliberative Alignment:直接把安全规范教给模型,并训练它在回答前显式回忆并对规范进行推理,整个过程不需要人工撰写的思维链或答案。作者用它对齐了 OpenAI 的 o 系列模型,称模型在更严格遵循安全策略的同时,提高了对越狱的鲁棒性、降低了过度拒答,并改善了分布外泛化。
评论者在讨论推理模型的中间 token 如何被评估时引用它,也用它说明 GPT-OSS 等模型的安全训练方式。
学习路径
读这篇之前,按顺序读书架上的 4 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出这条路径沿着偏好学习、RLHF、直接偏好优化和越狱攻击展开,帮你理解审议式对齐要解决的安全问题,再读这篇方法论文。
- 1
RLHF 的起点:用成对偏好训练奖励,是后续对齐方法的基础。
读从人类对轨迹片段的偏好中学习奖励模型的流程。
- 2
InstructGPT 是用人类反馈对齐语言模型的标准做法,审议式对齐正是与它对照提出的。
读监督微调、奖励模型与 PPO 三个阶段;对齐税的讨论。
- 3
DPO 是另一种常用的偏好优化方法,也是对齐训练流程里的常见环节。
读把偏好学习写成分类损失的推导思路;实验略读。
- 4
越狱攻击是安全规范需要抵御的典型威胁,说明为什么要让模型对规范推理。
读对抗后缀的自动搜索方法与可迁移性。
- 5Deliberative Alignment: Reasoning Enables Safer Language Models
目标论文:让模型先回忆并推理安全规范再作答的对齐方法。
读审议式对齐的两阶段训练(用规范生成数据并微调、强化学习),以及与 RLHF 的区别。
HN 书评
推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及“Yes. OpenAI's GPT-OSS was training using Deliberative Alignment (which was found to be flawed in a competition on Kaggle, but still).”
“from Anthropic and Deliberative Alignment from OpenAI.”