按年被提到
20232023 · 2 次2026
AI 安全、伦理与社会影响›大模型与人类行为·arXiv:2302.07459 · cs.CL

The Capacity for Moral Self-Correction in Large Language Models

大语言模型的道德自我纠正能力
Deep Ganguli, Amanda Askell, Nicholas Schiefer, Thomas I. Liao, Kamilė Lukošiūtė, Anna Chen, Anna Goldie, Azalia Mirhoseini, Catherine Olsson, Danny Hernandez, Dawn Drain, Dustin Li 等 49 人 · 2023

经 RLHF 的语言模型被要求时能自我纠正有害输出,约 22B 参数起出现。

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 3 人首次 2023-02-16 · 最近 2026-09-14
3不同的人
3活跃月份
3讨论串
145被引(OpenAlex)

检验经 RLHF(人类反馈强化学习)训练的语言模型在被指示时能否“道德自我纠正”、避免产生有害输出,三组实验都给出了强证据。这一能力在 22B 参数规模时出现,并通常随模型规模和 RLHF 训练而增强。作者认为此时模型具备遵循指令和理解刻板印象、偏见、歧视等规范概念两种能力,因而对训练模型遵守伦理原则持谨慎乐观。

HN 为什么提它

有人引它说明道德自我纠正约在 22B 参数出现,也有人摘其歧视实验的数字,指出 175B 模型在某些提示条件下会向某一群体“矫枉过正”。

实证研究难度 2 / 5约 35 分钟有时效性
读之前最好知道
1大语言模型(LLM)基础
2RLHF(基于人类反馈的强化学习)
3提示与指令遵循(prompting)
4偏见与公平性评测

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用nope96 · 2023-04

“For more scientific details, the paper is here. [The Capacity for Moral Self-Correction in Large Language Models”

给出论文链接,供了解 LLM 道德自我纠正的科学细节
Large Language Models: Scaling Laws and Emergent Properties原评论 ↗
引用like_any_other · 2026-09

“In the discrimination experiment, the 175B parameter model discriminates against Black versus white [sic] students by 3% in the Q condition, and discriminates in favor of Black students by 7% in the Q+IF+CoT condition.”

引用实验数据:175B 模型在不同条件下对不同族裔学生的歧视方向不同
Anthropic's AI architect argued that discrimination could combat stigmas原评论 ↗
被提交为 story · 1 次