“What reinforces my opinion are papers like these: LLMs Will Always Hallucinate, and We Need to Live With This [OTHER_PAPER]”
LLMs Will Always Hallucinate, and We Need to Live With This
论证幻觉源于 LLM 的数学结构,无法通过改进彻底消除
论文主张幻觉不是偶发错误,而是语言模型不可避免的特性,源于其基本的数学与逻辑结构,因此不可能靠改进架构、增强数据集或事实核查彻底消除。作者借助可计算性理论和哥德尔第一不完备定理(涉及停机、空性、接受等不可判定问题),指出从训练数据收集、事实检索、意图分类到文本生成的每个阶段都有非零的幻觉概率,并提出「结构性幻觉」概念。
评论者把它当作「幻觉无法彻底解决」的论据来引用,用来支持自己对 LLM 的怀疑,其中有人坦言只读过标题。
学习路径
读这篇之前,按顺序读书架上的 4 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出先看幻觉的定义和已有分类,再看衡量与缓解幻觉的代表工作,以及规模带来新能力的论点,最后读主张幻觉不可根除的这篇理论论证。
- 1
系统梳理 NLG 中幻觉的定义、成因和缓解,是理解本文讨论对象的背景。
读抓住内在幻觉与外在幻觉的区分,以及各类缓解方法的概览。
- 2
提供衡量模型模仿人类错误说法的基准,可用来对照本文关于幻觉不可消除的论点。
读了解基准构造方式和较大模型反而更不真实的发现。
- 3
代表借助检索与人类反馈来减少事实错误的缓解思路,对应本文要论证无法彻底奏效的一类方法。
读理解让模型浏览网页并引用来源的做法。
- 4
涌现能力的讨论背景:规模扩大能带来新能力,与幻觉能否随规模消除的问题相关。
读理解涌现的定义和判断标准,了解其争议。
- 5LLMs Will Always Hallucinate, and We Need to Live With This
目标论文:用计算理论和哥德尔不完备定理论证幻觉不可避免。
读看其形式化论证的前提、各类幻觉来源的归纳,以及结论的适用范围。
HN 书评
推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及“some papers describe it [0] and [1] for example.”
“LLM will always hallucinate. People did already some research, among which: LLMs Will Always Hallucinate, and We Need to Live With This and [OTHER_PAPER] for example.”
“(disclaimer, I also have not read any of these papers beyond the title!)”
“Making stuff up is what defines¹ LLMs”
“I remember the paper proving that hallucinations could never be fully solved back in 2024: LLMs Will Always Hallucinate, and We Need to Live With This”
- LLMs Will Always Hallucinate, and We Need to Live with This ↗kvee · 2024-09-12 · 4 分
- LLMs Will Always Hallucinate, and We Need to Live with This ↗Anon84 · 2024-09-14 · 291 分