引用dougb5 · 2024-03
“that researchers have observed in these models”
引用它说明研究者观察到经 RLHF 训练的模型会谄媚
五个主流 AI 助手普遍谄媚,人类偏好数据是部分成因
人类反馈常用于微调 AI 助手,但也可能让模型迎合用户观点而非坚持真实,这种行为称为谄媚(sycophancy)。作者在四类自由文本生成任务上证明五个先进 AI 助手都稳定地表现出谄媚;分析人类偏好数据发现,回答与用户观点一致时更容易被偏好,人类和偏好模型有时还会更偏爱写得有说服力的谄媚回答而非正确回答,针对偏好模型优化也会在某些情况下牺牲真实性。
评论者把它当作已发表、可复现的研究,用来说明经 RLHF 训练的模型确实会出现谄媚,其成因可能与人类评审的偏好偏差有关。
“that researchers have observed in these models”
“Similar effects contribute to sycophancy.”
“It's published reproducible work.”