按年被提到
20232023 · 3 次2026
大模型与语言模型›对话式大模型·arXiv:2305.14292 · cs.CL

WikiChat: Stopping the Hallucination of Large Language Model Chatbots by Few-Shot Grounding on Wikipedia

WikiChat:用维基百科少样本接地,遏制大语言模型聊天机器人的幻觉
Sina J. Semnani, Violet Z. Yao, Heidi C. Zhang, Monica S. Lam · 2023

以维基百科为依据的少样本聊天机器人,几乎不产生幻觉

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 4 人首次 2023-05-31 · 最近 2024-03-12
4不同的人
3活跃月份
3讨论串
52被引(OpenAlex)

论文提出 WikiChat,一个基于英文维基百科、几乎不产生幻觉的少样本 LLM 聊天机器人:先由 LLM 生成回复,仅保留有依据的事实,再与从语料检索的额外信息结合,形成事实准确又有对话感的回答。作者把基于 GPT-4 的 WikiChat 蒸馏到 7B 的 LLaMA 上,损失很小,同时降低延迟、成本和隐私风险。在人类加 LLM 的混合评估中,最佳系统在模拟对话中达到 97.3% 的事实准确率,在近期话题的真人对话中为 97.9%,均显著优于所比较的基线与 GPT-4。

HN 为什么提它

评论者指出其主张针对的是机器人转述维基百科的准确性而非维基百科本身,也把它当作把难任务拆成多个较简单 LLM 调用的例子。

方法难度 3 / 5约 45 分钟有时效性
读之前最好知道
1检索增强生成(retrieval-augmented generation)
2大语言模型幻觉(hallucination)
3少样本提示(few-shot prompting)
4模型蒸馏(distillation)

学习路径

读这篇之前,按顺序读书架上的 5 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

先弄清少样本提示和检索增强生成这两块,再看对话式知识接地和蒸馏到小模型的做法,就能读懂 WikiChat 的管线。

  1. 1
    Language Models are Few-Shot Learners语言模型是少样本学习者 · 2020

    WikiChat 全程靠少样本提示驱动 LLM,这是少样本提示范式的出处。

    读上下文学习(in-context learning)的定义和 few-shot 设置;不必细读各任务结果。

  2. 2
    REALM: Retrieval-Augmented Language Model Pre-TrainingREALM:检索增强的语言模型预训练 · 2020

    最早把可学习检索器接进语言模型,用维基百科做外部知识。

    读检索器加语言模型联合预训练的思路;知识来自维基百科段落。

  3. 3
    Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks面向知识密集型 NLP 任务的检索增强生成 · 2020

    WikiChat 从维基百科检索证据再生成回复,思路属于 RAG 一系。

    读检索器 + 生成器的整体结构,以及它和纯参数化记忆的区别。

  4. 4

    以维基百科为知识的对话任务,WikiChat 要解决的正是这类知识型对话。

    读任务定义:对话中先选知识再生成回复;留意它的评测方式。

  5. 5
    LLaMA: Open and Efficient Foundation Language ModelsLLaMA:开放且高效的基础语言模型 · 2023

    WikiChat 把 GPT-4 版本蒸馏进 7B 的 LLaMA 模型。

    读LLaMA 的模型规模系列和只用公开数据训练这一点;不必看训练细节。

  6. 6
    WikiChat: Stopping the Hallucination of Large Language Model Chatbots by Few-Shot Grounding on WikipediaWikiChat:用维基百科少样本接地,遏制大语言模型聊天机器人的幻觉 · 2023 · 就是这篇

    目标论文:把生成、事实核查和检索结合起来抑制幻觉。

    读整条管线(生成、保留有依据的事实、检索补充、组合回复)和蒸馏部分。

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用dr_dshiv · 2023-07

“Here is a direct link to the arxiv article:”

给出这篇 arXiv 论文的直接链接
Wikipedia-grounded chatbot “outperforms all baselines” on factual accuracy原评论 ↗
引用mcpackieh · 2023-07

“very much about the qualities of their bot, not the qualities of wikipedia.”

批评它的论断讲的是聊天机器人自身的质量,而不是维基百科的质量
Wikipedia-grounded chatbot “outperforms all baselines” on factual accuracy原评论 ↗
引用emrek1 · 2024-03

“decomposing hard tasks into many "easier" LLM tasks [2]”

拿它作例子,说明把难任务拆成许多更简单的 LLM 任务
Show HN: Prompts as WASM Programs原评论 ↗
被提交为 story · 1 次