按年被提到
20222022 · 1 次2026
大模型与语言模型›检索增强与知识库·arXiv:2211.08411 · cs.CL

Large Language Models Struggle to Learn Long-Tail Knowledge

大语言模型难以学会长尾知识
Nikhil Kandpal, Haikang Deng, Adam Roberts, Eric Wallace, Colin Raffel · 2022

事实问答准确率与预训练数据中相关文档数量紧密相关

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 3 人首次 2022-11-16 · 最近 2025-12-30
3不同的人
3活跃月份
3讨论串
173被引(OpenAlex)

论文通过对预训练数据做实体链接,统计含有与某问答对相同实体的文档数,发现语言模型回答事实性问题的能力与预训练中见过的相关文档数量有很强的相关与因果关系,这在多个问答数据集(如 TriviaQA)、预训练语料(如 ROOTS)和模型规模(如 176B 参数)上都成立。更大的模型更擅长学习长尾知识,但作者估计要在支持很少的问题上达到有竞争力的表现,还需要把模型再放大许多个数量级;检索增强可以降低对预训练信息的依赖。

HN 为什么提它

评论者引用它说明单靠增加参数并不能带来可泛化的解法,模型对罕见知识的掌握仍受制于训练数据。

实证研究难度 3 / 5约 40 分钟经得起时间
读之前最好知道
1大语言模型预训练
2实体链接(entity linking)
3问答数据集(如 TriviaQA)
4检索增强(retrieval-augmentation)

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用pms · 2023-03

“I wished more parameters gave a generalizable solution, but research suggests”

引它说明研究表明单靠增加参数并不能带来可泛化的解决办法
ChatGPT Plugins原评论 ↗
被提交为 story · 2 次