按年被提到
20222023 · 3 次2026
大模型与语言模型›幻觉与语言模型局限·arXiv:2202.03629 · cs.CL

Survey of Hallucination in Natural Language Generation

自然语言生成中的幻觉综述
Ziwei Ji, Nayeon Lee, Rita Frieske, Tiezheng Yu, Dan Su, Yan Xu, Etsuko Ishii, Yejin Bang, Delong Chen, Wenliang Dai, Ho Shu Chan, Andrea Madotto 等 13 人 · 2022

自然语言生成中幻觉问题的度量、缓解与各任务进展综述

开始阅读 ↗PDFalphaXiv 讨论
被推荐 · 3 人首次 2023-02-13 · 最近 2024-02-26
3不同的人
3活跃月份
4讨论串
5,676被引(OpenAlex)

这篇综述对自然语言生成中的幻觉问题做了较全面的回顾。第一部分概述度量指标、缓解方法和未来方向,第二部分梳理摘要、对话、生成式问答、数据到文本、机器翻译和视觉语言生成等下游任务的具体研究进展,第三部分讨论大语言模型中的幻觉。作者希望借此促进研究者协作解决幻觉文本问题。

HN 为什么提它

当有人想找 LLM 幻觉的学术资料时,评论者把它推荐为一个好的起点,也常引用其中对内在幻觉与外在幻觉的定义。

综述难度 2 / 5约 90 分钟有时效性
读之前最好知道
1自然语言生成任务(摘要、对话、机器翻译)
2Transformer 语言模型
3文本评测指标(如 ROUGE、BLEU)
4大语言模型基础

学习路径

读这篇之前,按顺序读书架上的 7 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

这条路径先掌握序列到序列和 Transformer 这类生成模型的基础,再看大规模预训练与 GPT-3,然后看训练数据去重、检索增强、真实性评测和人类反馈对齐等与幻觉相关的几条线,最后读幻觉综述。

  1. 1
    Sequence to Sequence Learning with Neural Networks用神经网络进行序列到序列学习 · 2014

    序列到序列框架是综述所说的神经文本生成的基础,也是幻觉问题的发生背景。

    读编码器-解码器的结构与端到端生成流程。

  2. 2
    Attention Is All You Need注意力就是你所需要的一切 · 2017

    综述讨论的现代生成模型大多基于 Transformer。

    读自注意力与编码器-解码器结构;跳过翻译实验。

  3. 3
    Language Models are Few-Shot Learners语言模型是少样本学习者 · 2020

    GPT-3 展示了大语言模型的少样本能力,也使幻觉问题在应用中更突出。

    读in-context learning 的做法与评测任务;规模和能力的关系。

  4. 4
    Deduplicating Training Data Makes Language Models Better训练数据去重让语言模型更好 · 2021

    训练数据中的重复与噪声会让模型逐字复述,是综述从数据角度讨论幻觉成因的内容之一。

    读去重的方法,以及对逐字记忆与生成质量的影响。

  5. 5
    Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks面向知识密集型 NLP 任务的检索增强生成 · 2020

    检索增强生成是缓解幻觉、提升事实性的一类主要方法。

    读检索器与生成器如何结合,以及它在知识密集型任务上的效果。

  6. 6

    TruthfulQA 专门度量模型是否模仿人类的错误说法,是评估事实性的代表基准。

    读问题的构造方式,以及模型越大反而越不真实的发现。

  7. 7
    Training language models to follow instructions with human feedback用人类反馈训练语言模型遵循指令 · 2022

    用人类反馈微调语言模型使输出更符合期望,与综述中通过训练方法缓解幻觉的讨论相关。

    读监督微调、奖励模型和强化学习三个阶段的流程;对真实性与幻觉的评估部分。

  8. 8
    Survey of Hallucination in Natural Language Generation自然语言生成中的幻觉综述 · 2022 · 就是这篇

    综述自然语言生成中幻觉问题的度量、成因、缓解方法及各任务进展。

    读先读幻觉的定义(内在与外在)与度量,再按摘要、对话、问答等任务选读。

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
推荐williamcotton · 2023-02

“If you're looking for academic research, this is a great place to start:”

推荐这篇幻觉综述作为学术研究的好起点
Show HN: Natural Language Git (Gitgpt)原评论 ↗
引用eternalban · 2023-02

“Once again, intrinsic hallucination refers to output content that contradicts the source, while extrinsic hallucination refers to output content that the source cannot verify.”

引用它对幻觉的定义:内在幻觉与源内容矛盾,外在幻觉则无法由源内容验证
Google cautions against 'hallucinating' chatbots原评论 ↗
引用williamcotton · 2023-03

“Survey of Hallucination in Natural Language Generation: Survey of Hallucination in Natural Language Generation”

把这篇幻觉综述列入阅读清单
Oceania Always at War with Eastasia: Generative AI and Knowledge Pollution原评论 ↗
引用intended · 2024-02

“Survey of Hallucination in Natural Language Generation] (Ji et al., 2022)”

列出这篇自然语言生成幻觉综述(Ji 等,2022)作为参考
Hallucination is inevitable: An innate limitation of large language models原评论 ↗