“Here is a direct link to the arxiv article:”
WikiChat: Stopping the Hallucination of Large Language Model Chatbots by Few-Shot Grounding on Wikipedia
以维基百科为依据的少样本聊天机器人,几乎不产生幻觉
论文提出 WikiChat,一个基于英文维基百科、几乎不产生幻觉的少样本 LLM 聊天机器人:先由 LLM 生成回复,仅保留有依据的事实,再与从语料检索的额外信息结合,形成事实准确又有对话感的回答。作者把基于 GPT-4 的 WikiChat 蒸馏到 7B 的 LLaMA 上,损失很小,同时降低延迟、成本和隐私风险。在人类加 LLM 的混合评估中,最佳系统在模拟对话中达到 97.3% 的事实准确率,在近期话题的真人对话中为 97.9%,均显著优于所比较的基线与 GPT-4。
评论者指出其主张针对的是机器人转述维基百科的准确性而非维基百科本身,也把它当作把难任务拆成多个较简单 LLM 调用的例子。
学习路径
读这篇之前,按顺序读书架上的 5 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出先弄清少样本提示和检索增强生成这两块,再看对话式知识接地和蒸馏到小模型的做法,就能读懂 WikiChat 的管线。
- 1
WikiChat 全程靠少样本提示驱动 LLM,这是少样本提示范式的出处。
读上下文学习(in-context learning)的定义和 few-shot 设置;不必细读各任务结果。
- 2
最早把可学习检索器接进语言模型,用维基百科做外部知识。
读检索器加语言模型联合预训练的思路;知识来自维基百科段落。
- 3
WikiChat 从维基百科检索证据再生成回复,思路属于 RAG 一系。
读检索器 + 生成器的整体结构,以及它和纯参数化记忆的区别。
- 4
以维基百科为知识的对话任务,WikiChat 要解决的正是这类知识型对话。
读任务定义:对话中先选知识再生成回复;留意它的评测方式。
- 5
WikiChat 把 GPT-4 版本蒸馏进 7B 的 LLaMA 模型。
读LLaMA 的模型规模系列和只用公开数据训练这一点;不必看训练细节。
- 6WikiChat: Stopping the Hallucination of Large Language Model Chatbots by Few-Shot Grounding on Wikipedia
目标论文:把生成、事实核查和检索结合起来抑制幻觉。
读整条管线(生成、保留有依据的事实、检索补充、组合回复)和蒸馏部分。
HN 书评
推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及“very much about the qualities of their bot, not the qualities of wikipedia.”
“decomposing hard tasks into many "easier" LLM tasks [2]”
- WikiChat: A Few-Shot LLM-Based Chatbot Grounded with Wikipedia ↗gdss · 2023-05-31 · 1 分