按年被提到
20202020 · 2 次2026
大模型与语言模型›词向量与预训练模型·arXiv:2002.12327 · cs.CL

A Primer in BERTology: What we know about how BERT works

BERT 学入门:我们对 BERT 工作原理了解多少
Anna Rogers, Olga Kovaleva, Anna Rumshisky · 2020

综述 150 多项研究:BERT 学到了什么、如何表示与压缩

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 3 人首次 2020-03-06 · 最近 2025-05-05
3不同的人
3活跃月份
3讨论串
1,597被引(OpenAlex)

这是首篇对 BERT 模型 150 多项研究的综述,梳理目前对 BERT 如何工作、学到哪类信息及其表示方式的认识,并介绍训练目标和架构的常见改动、过参数化问题和压缩方法。最后列出未来的研究方向。

HN 为什么提它

HN 评论者引用它作为依据,说明 BERT 各层编码的是句法与语义的混合信息,且与具体任务有关。

综述难度 3 / 5约 60 分钟有时效性
读之前最好知道
1Transformer 架构
2BERT 预训练(masked language modeling)
3自然语言处理基础
4模型压缩(蒸馏、剪枝)

学习路径

读这篇之前,按顺序读书架上的 7 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

先建立 Transformer 与 BERT 的基础,再读几篇关于注意力和语言知识的探测研究,最后看压缩与训练改进,建立对 BERT 内部机制的整体图景。

  1. 1
    Attention Is All You Need注意力就是你所需要的一切 · 2017

    BERT 的自注意力与多头结构都来自这里,综述讨论的注意力头由此而来。

    读多头自注意力与位置编码的结构;不必深究翻译实验。

  2. 2
    BERT: Pre-training of Deep Bidirectional Transformers for Language UnderstandingBERT:用于语言理解的深度双向 Transformer 预训练 · 2018

    综述的研究对象:BERT 的结构与掩码语言模型预训练。

    读预训练目标(MLM 与下一句预测)与微调方式;各层输出如何被探测。

  3. 3
    BERT Rediscovers the Classical NLP PipelineBERT 重新发现了经典 NLP 流水线 · 2019

    代表性的探测研究:BERT 各层分别编码哪些语言信息。

    读各层对应词性、句法、实体、语义角色、指代的顺序结论。

  4. 4

    分析 BERT 注意力头的行为,综述里注意力头那部分的主要来源之一。

    读注意力头与句法关系、定位到特定词的模式;头之间的冗余。

  5. 5
    Attention is not Explanation注意力不是解释 · 2019

    质疑注意力权重能否当作解释,是综述讨论注意力的争论一方。

    读注意力权重与梯度重要性不相关的实验;解释性的定义问题。

  6. 6

    对上一篇的反驳,两篇合读才能看清注意力是否算解释之争。

    读它对上一篇实验设定的批评与论点。

  7. 7

    综述压缩部分的代表:用蒸馏得到更小的 BERT。

    读知识蒸馏损失的组成与小模型保留的性能比例。

  8. 8
    A Primer in BERTology: What we know about how BERT worksBERT 学入门:我们对 BERT 工作原理了解多少 · 2020 · 就是这篇

    目标论文:汇总 BERT 学到什么、如何表示、如何修改与压缩。

    读按主题(知识、局部/全局表示、训练目标、过参数化)定位前面读过的工作。

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用sigtstp · 2025-05

“[1] A Primer in BERTology: What we know about how BERT works A Primer in BERTology (Layers encode a mix of syntactic and semantic aspects of natural language, and it's problem-specific.)”

引用它说明 BERT 各层混合编码句法和语义信息
Semantic unit testing: test code without executing it原评论 ↗
被提交为 story · 2 次