按年被提到
20232023 · 2 次2026
大模型与语言模型›幻觉与语言模型局限·arXiv:2305.13534 · cs.CL

How Language Model Hallucinations Can Snowball

语言模型的幻觉如何滚雪球
Muru Zhang, Ofir Press, William Merrill, Alisa Liu, Noah A. Smith · 2023

模型为圆早先的错误而继续出错,即使它能识别这些错

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 5 人首次 2023-05-26 · 最近 2025-12-28
5不同的人
4活跃月份
5讨论串
201被引(OpenAlex)

作者构造了三个问答数据集,ChatGPT 和 GPT-4 常先给出错误答案,再给出含错误论断的解释。关键发现是,这两个模型能分别识别出自己 67% 和 87% 的错误。论文把这种现象称为“幻觉滚雪球”:模型过度坚持早先的错误,由此产生本来不会出现的更多错误。

HN 为什么提它

HN 上的人把它当作“早期错误会在后续生成中累积放大”的早期论文来引用,用来解释模型一旦说错就越说越错。

实证研究难度 2 / 5约 30 分钟有时效性
读之前最好知道
1大语言模型的自回归生成
2幻觉(hallucination)概念
3问答任务的评测方式

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用lambdaviking · 2023-05

“As some evidence of this, we were able to use these results to find simple problems that ChatGPT and GPT4 get chance performance on.”

引用它:用这些结果找出了 ChatGPT 和 GPT-4 表现仅相当于随机的简单问题
A Logic for Expressing Transformers原评论 ↗
引用intended · 2024-02

“How Language Model Hallucinations Can Snowball] (Zhang et al., 2023)”

引用它说明早期幻觉会滚雪球,引出更多幻觉
Hallucination is inevitable: An innate limitation of large language models原评论 ↗
引用jpcompartir · 2025-09

“they also reference the original snowballing paper”

指出对方也引用了最初的幻觉滚雪球论文
An LLM is a lossy encyclopedia原评论 ↗
引用ACCount37 · 2025-12

“Off the top of my head - here's one of the earlier papers on consistency-induced hallucinations:”

凭记忆举出一篇早期论文,讲模型前面的错误会自我强化成幻觉
Project Vend: Phase Two原评论 ↗
被提交为 story · 1 次