“If you're looking for academic research, this is a great place to start:”
Survey of Hallucination in Natural Language Generation
自然语言生成中幻觉问题的度量、缓解与各任务进展综述
这篇综述对自然语言生成中的幻觉问题做了较全面的回顾。第一部分概述度量指标、缓解方法和未来方向,第二部分梳理摘要、对话、生成式问答、数据到文本、机器翻译和视觉语言生成等下游任务的具体研究进展,第三部分讨论大语言模型中的幻觉。作者希望借此促进研究者协作解决幻觉文本问题。
当有人想找 LLM 幻觉的学术资料时,评论者把它推荐为一个好的起点,也常引用其中对内在幻觉与外在幻觉的定义。
学习路径
读这篇之前,按顺序读书架上的 7 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出这条路径先掌握序列到序列和 Transformer 这类生成模型的基础,再看大规模预训练与 GPT-3,然后看训练数据去重、检索增强、真实性评测和人类反馈对齐等与幻觉相关的几条线,最后读幻觉综述。
- 1
序列到序列框架是综述所说的神经文本生成的基础,也是幻觉问题的发生背景。
读编码器-解码器的结构与端到端生成流程。
- 2
- 3
GPT-3 展示了大语言模型的少样本能力,也使幻觉问题在应用中更突出。
读in-context learning 的做法与评测任务;规模和能力的关系。
- 4
训练数据中的重复与噪声会让模型逐字复述,是综述从数据角度讨论幻觉成因的内容之一。
读去重的方法,以及对逐字记忆与生成质量的影响。
- 5
检索增强生成是缓解幻觉、提升事实性的一类主要方法。
读检索器与生成器如何结合,以及它在知识密集型任务上的效果。
- 6
TruthfulQA 专门度量模型是否模仿人类的错误说法,是评估事实性的代表基准。
读问题的构造方式,以及模型越大反而越不真实的发现。
- 7
用人类反馈微调语言模型使输出更符合期望,与综述中通过训练方法缓解幻觉的讨论相关。
读监督微调、奖励模型和强化学习三个阶段的流程;对真实性与幻觉的评估部分。
- 8Survey of Hallucination in Natural Language Generation
综述自然语言生成中幻觉问题的度量、成因、缓解方法及各任务进展。
读先读幻觉的定义(内在与外在)与度量,再按摘要、对话、问答等任务选读。
HN 书评
推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及“Once again, intrinsic hallucination refers to output content that contradicts the source, while extrinsic hallucination refers to output content that the source cannot verify.”
“Survey of Hallucination in Natural Language Generation: Survey of Hallucination in Natural Language Generation”
“Survey of Hallucination in Natural Language Generation] (Ji et al., 2022)”