按年被提到
20232024 · 3 次2026
大模型与语言模型›大模型评测与真实性·arXiv:2312.05934 · cs.AI

Fine-Tuning or Retrieval? Comparing Knowledge Injection in LLMs

微调还是检索?比较大语言模型中的知识注入
Oded Ovadia, Menachem Brief, Moshik Mishaeli, Oren Elisha · 2023

实验显示注入知识时 RAG 稳定优于无监督微调

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 4 人首次 2023-12-22 · 最近 2024-06-01
4不同的人
3活跃月份
4讨论串
206被引(OpenAlex)

论文比较向大语言模型注入新知识的两种常见做法:无监督微调与检索增强生成(RAG),并在不同主题的知识密集型任务上评估。结果显示无监督微调有一定提升,但 RAG 始终更好,无论是对训练中见过的已有知识,还是全新的知识。作者还发现 LLM 很难通过无监督微调学到新的事实,而在训练时让它看到同一事实的多种不同表述可能缓解这一问题。

HN 为什么提它

评论者引用它作为定量证据,说明为 LLM 增加领域知识时 RAG 比微调更可取。

实证研究难度 3 / 5约 30 分钟有时效性
读之前最好知道
1检索增强生成(RAG)
2大语言模型微调
3向量检索与嵌入
4知识密集型任务评测

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用gandalfgeek · 2024-06

“some recent research (some of which they cite) has actually quantitatively shown that RAG is much preferable to FT for adding domain-specific knowledge to an LLM:”

引用近期研究(其中一些被引用过)说明为 LLM 添加领域知识,RAG 定量上优于微调
What we've learned from a year of building with LLMs原评论 ↗
被提交为 story · 3 次