按年被提到
20242026 · 2 次2026
大模型与语言模型›大模型推理与思维链·arXiv:2412.16339 · cs.CL

Deliberative Alignment: Reasoning Enables Safer Language Models

审议式对齐(Deliberative Alignment):推理让语言模型更安全
Melody Y. Guan, Manas Joglekar, Eric Wallace, Saachi Jain, Boaz Barak, Alec Helyar, Rachel Dias, Andrea Vallone, Hongyu Ren, Jason Wei, Hyung Won Chung, Sam Toyer 等 15 人 · 2024

让模型先回忆并推理安全规范再作答的对齐方法

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 3 人首次 2025-05-24 · 最近 2026-06-27
3不同的人
3活跃月份
3讨论串
106被引(OpenAlex)

论文提出 Deliberative Alignment:直接把安全规范教给模型,并训练它在回答前显式回忆并对规范进行推理,整个过程不需要人工撰写的思维链或答案。作者用它对齐了 OpenAI 的 o 系列模型,称模型在更严格遵循安全策略的同时,提高了对越狱的鲁棒性、降低了过度拒答,并改善了分布外泛化。

HN 为什么提它

评论者在讨论推理模型的中间 token 如何被评估时引用它,也用它说明 GPT-OSS 等模型的安全训练方式。

方法难度 3 / 5约 35 分钟经得起时间
读之前最好知道
1大语言模型后训练(post-training)
2思维链(chain of thought)推理
3监督微调与强化学习
4越狱(jailbreak)与过度拒答

学习路径

读这篇之前,按顺序读书架上的 4 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

这条路径沿着偏好学习、RLHF、直接偏好优化和越狱攻击展开,帮你理解审议式对齐要解决的安全问题,再读这篇方法论文。

  1. 1
    Deep reinforcement learning from human preferences基于人类偏好的深度强化学习 · 2017

    RLHF 的起点:用成对偏好训练奖励,是后续对齐方法的基础。

    读从人类对轨迹片段的偏好中学习奖励模型的流程。

  2. 2
    Training language models to follow instructions with human feedback用人类反馈训练语言模型遵循指令 · 2022

    InstructGPT 是用人类反馈对齐语言模型的标准做法,审议式对齐正是与它对照提出的。

    读监督微调、奖励模型与 PPO 三个阶段;对齐税的讨论。

  3. 3
    Direct Preference Optimization: Your Language Model is Secretly a Reward Model直接偏好优化:你的语言模型其实暗含一个奖励模型 · 2023

    DPO 是另一种常用的偏好优化方法,也是对齐训练流程里的常见环节。

    读把偏好学习写成分类损失的推导思路;实验略读。

  4. 4
    Universal and Transferable Adversarial Attacks on Aligned Language Models针对对齐语言模型的通用且可迁移的对抗攻击 · 2023

    越狱攻击是安全规范需要抵御的典型威胁,说明为什么要让模型对规范推理。

    读对抗后缀的自动搜索方法与可迁移性。

  5. 5
    Deliberative Alignment: Reasoning Enables Safer Language Models审议式对齐(Deliberative Alignment):推理让语言模型更安全 · 2024 · 就是这篇

    目标论文:让模型先回忆并推理安全规范再作答的对齐方法。

    读审议式对齐的两阶段训练(用规范生成数据并微调、强化学习),以及与 RLHF 的区别。

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用theptip · 2025-05

“So, how does this impact Deliberative Alignment[1], where IIUC the intermediate tokens are assessed (eg for referencing the appropriate policy fragment)?”

追问中间 token 被评估时对 Deliberative Alignment 有何影响
Beyond Semantics: Unreasonable Effectiveness of Reasonless Intermediate Tokens原评论 ↗
引用ndr_ · 2026-05

“Yes. OpenAI's GPT-OSS was training using Deliberative Alignment (which was found to be flawed in a competition on Kaggle, but still).”

指出 GPT-OSS 用 Deliberative Alignment 训练,虽然在 Kaggle 比赛中被发现有缺陷
The Gay Jailbreak Technique原评论 ↗
引用ben_w · 2026-06

“from Anthropic and Deliberative Alignment from OpenAI.”

列出 OpenAI 这篇论文,作为通过推理安全规范让模型更安全的做法
The US lifts its block on Mythos 5原评论 ↗