“but it seems like there is other interesting research going on like the REALM paper [1], [2].”
按年被提到
20202020 · 2 次2026
REALM: Retrieval-Augmented Language Model Pre-Training
REALM:检索增强的语言模型预训练
Kelvin Guu, Kenton Lee, Zora Tung, Panupong Pasupat, Ming-Wei Chang · 2020
预训练中引入可学习的检索器,让语言模型查阅维基百科
被推荐 · 3 人首次 2020-02-21 · 最近 2023-02-06
3不同的人
3活跃月份
3讨论串
724被引(OpenAlex)
REALM 在语言模型预训练阶段加入一个潜变量式的知识检索器,让模型在预训练、微调和推理时都能从维基百科等大语料中检索并关注相关文档。检索器用掩码语言建模作为学习信号、以无监督方式训练,并通过对数百万文档的检索步骤做反向传播。在三个开放域问答基准上,REALM 比此前方法的绝对准确率高出 4–16%,同时更具可解释性和模块化。
HN 为什么提它
HN 上的人把它当作“知识放在模型之外、可检索更新”的检索增强预训练的代表例子,在讨论如何更新语言模型知识时提到它。
方法难度 4 / 5约 45 分钟经得起时间
读之前最好知道
1BERT 与掩码语言建模(masked language modeling)
2开放域问答(Open-domain QA)
3稠密向量检索(dense retrieval)
4Transformer 架构
学习路径
读这篇之前,按顺序读书架上的 4 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出这条路径先掌握 Transformer 与 BERT 式预训练,再看跨度掩码和文本到文本迁移的基线,为理解 REALM 如何在预训练中加入可学习的检索器打基础。
- 1
- 2
REALM 沿用 BERT 的掩码语言模型预训练并在其上增加检索。
读masked language model 目标与微调方式,以及 BERT 作为输入编码器的角色。
- 3
SpanBERT 强调对连续片段做掩码,与 REALM 选择有信息量的片段来掩码的思路相近。
读span masking 的做法及其对问答类任务的好处。
- 4
T5 代表把知识全部存进参数的路线,是 REALM 在开放域问答里对照的基线。
读文本到文本框架,以及模型越大、问答越好的趋势。
- 5REALM: Retrieval-Augmented Language Model Pre-Training
在预训练中引入可学习的检索器,让语言模型从维基百科检索文档并加以利用。
读检索器与知识增强编码器的联合建模,以及如何通过检索对数似然端到端训练。
HN 书评
推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及推荐skybrian · 2020-08
举 REALM 为例,说明还有把知识放在模型之外的有趣研究
引用shawntan · 2023-02
“REALM comes to mind as an example of active work in this area.”
拿 REALM 作为该方向的代表,用检索更新语言模型知识
被提交为 story · 1 次
- Realm: Retrieval-Augmented Language Model Pre-Training ↗blopeur · 2020-02-21 · 2 分