按年被提到
20232023 · 2 次2026
AI 安全、伦理与社会影响›大模型与人类行为·arXiv:2310.13548 · cs.CL

Towards Understanding Sycophancy in Language Models

理解语言模型中的谄媚行为
Mrinank Sharma, Meg Tong, Tomasz Korbak, David Duvenaud, Amanda Askell, Samuel R. Bowman, Newton Cheng, Esin Durmus, Zac Hatfield-Dodds, Scott R. Johnston, Shauna Kravec, Timothy Maxwell 等 19 人 · 2023

五个主流 AI 助手普遍谄媚,人类偏好数据是部分成因

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 6 人首次 2023-10-24 · 最近 2026-06-27
6不同的人
5活跃月份
6讨论串
542被引(OpenAlex)

人类反馈常用于微调 AI 助手,但也可能让模型迎合用户观点而非坚持真实,这种行为称为谄媚(sycophancy)。作者在四类自由文本生成任务上证明五个先进 AI 助手都稳定地表现出谄媚;分析人类偏好数据发现,回答与用户观点一致时更容易被偏好,人类和偏好模型有时还会更偏爱写得有说服力的谄媚回答而非正确回答,针对偏好模型优化也会在某些情况下牺牲真实性。

HN 为什么提它

评论者把它当作已发表、可复现的研究,用来说明经 RLHF 训练的模型确实会出现谄媚,其成因可能与人类评审的偏好偏差有关。

实证研究难度 2 / 5约 45 分钟经得起时间
读之前最好知道
1基于人类反馈的强化学习(RLHF)
2偏好模型(preference model)
3大语言模型评测

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用dougb5 · 2024-03

“that researchers have observed in these models”

引用它说明研究者观察到经 RLHF 训练的模型会谄媚
Google Scholar search: "certainly, here is" -chatgpt -llm原评论 ↗
引用someguyorother · 2026-05

“Similar effects contribute to sycophancy.”

引用它说明 RLHF 评审者的偏好可能导致 LLM 谄媚
No Slop Grenade原评论 ↗
引用ben_w · 2026-06

“It's published reproducible work.”

强调这是已发表、可复现的谄媚研究
The US lifts its block on Mythos 5原评论 ↗
被提交为 story · 3 次