按年被提到
20202020 · 2 次2026
大模型与语言模型›检索增强与知识库·arXiv:2002.08909 · cs.CL

REALM: Retrieval-Augmented Language Model Pre-Training

REALM:检索增强的语言模型预训练
Kelvin Guu, Kenton Lee, Zora Tung, Panupong Pasupat, Ming-Wei Chang · 2020

预训练中引入可学习的检索器,让语言模型查阅维基百科

开始阅读 ↗PDFalphaXiv 讨论
被推荐 · 3 人首次 2020-02-21 · 最近 2023-02-06
3不同的人
3活跃月份
3讨论串
724被引(OpenAlex)

REALM 在语言模型预训练阶段加入一个潜变量式的知识检索器,让模型在预训练、微调和推理时都能从维基百科等大语料中检索并关注相关文档。检索器用掩码语言建模作为学习信号、以无监督方式训练,并通过对数百万文档的检索步骤做反向传播。在三个开放域问答基准上,REALM 比此前方法的绝对准确率高出 4–16%,同时更具可解释性和模块化。

HN 为什么提它

HN 上的人把它当作“知识放在模型之外、可检索更新”的检索增强预训练的代表例子,在讨论如何更新语言模型知识时提到它。

方法难度 4 / 5约 45 分钟经得起时间
读之前最好知道
1BERT 与掩码语言建模(masked language modeling)
2开放域问答(Open-domain QA)
3稠密向量检索(dense retrieval)
4Transformer 架构

学习路径

读这篇之前,按顺序读书架上的 4 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

这条路径先掌握 Transformer 与 BERT 式预训练,再看跨度掩码和文本到文本迁移的基线,为理解 REALM 如何在预训练中加入可学习的检索器打基础。

  1. 1
    Attention Is All You Need注意力就是你所需要的一切 · 2017

    REALM 的语言模型和检索器编码器都基于 Transformer。

    读多头自注意力和编码器结构;跳过机器翻译实验。

  2. 2
    BERT: Pre-training of Deep Bidirectional Transformers for Language UnderstandingBERT:用于语言理解的深度双向 Transformer 预训练 · 2018

    REALM 沿用 BERT 的掩码语言模型预训练并在其上增加检索。

    读masked language model 目标与微调方式,以及 BERT 作为输入编码器的角色。

  3. 3

    SpanBERT 强调对连续片段做掩码,与 REALM 选择有信息量的片段来掩码的思路相近。

    读span masking 的做法及其对问答类任务的好处。

  4. 4
    Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer探索迁移学习的极限:统一的文本到文本 Transformer · 2019

    T5 代表把知识全部存进参数的路线,是 REALM 在开放域问答里对照的基线。

    读文本到文本框架,以及模型越大、问答越好的趋势。

  5. 5
    REALM: Retrieval-Augmented Language Model Pre-TrainingREALM:检索增强的语言模型预训练 · 2020 · 就是这篇

    在预训练中引入可学习的检索器,让语言模型从维基百科检索文档并加以利用。

    读检索器与知识增强编码器的联合建模,以及如何通过检索对数似然端到端训练。

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
推荐skybrian · 2020-08

“but it seems like there is other interesting research going on like the REALM paper [1], [2].”

举 REALM 为例,说明还有把知识放在模型之外的有趣研究
Recent Advances in Natural Language Processing原评论 ↗
引用shawntan · 2023-02

“REALM comes to mind as an example of active work in this area.”

拿 REALM 作为该方向的代表,用检索更新语言模型知识
Sundar Pichai: An important next step on our AI journey原评论 ↗
被提交为 story · 1 次