按年被提到
20182023 · 9 次2026
大模型与语言模型›词向量与预训练模型·arXiv:1810.04805 · cs.CL

BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding

BERT:用于语言理解的深度双向 Transformer 预训练
Jacob Devlin, Ming-Wei Chang, Kenton Lee, Kristina Toutanova · 2018

双向 Transformer 预训练,加一个输出层即可微调多种任务

开始阅读 ↗PDFalphaXiv 讨论
被推荐 · 23 人首次 2018-10-12 · 最近 2026-06-01发表于 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies (NAACL-HLT)
23不同的人
18活跃月份
23讨论串
48,541被引(OpenAlex)

论文提出 BERT,在所有层中同时以左右上下文为条件,从无标注文本预训练深度双向表示,只需额外加一个输出层微调,就能用于问答、语言推断等多种任务,无需大幅修改任务架构。BERT 在 11 项 NLP 任务上取得当时最优,例如 GLUE 80.5%、MultiNLI 86.7%、SQuAD v1.1 F1 93.2、SQuAD v2.0 F1 83.1。

HN 为什么提它

BERT 常被当作「BERT 原始论文」引用,用于说明预训练加迁移、BERT 与 GPT 的差别,以及 Google 在 NLP 上的早期贡献。

奠基之作难度 3 / 5约 45 分钟经得起时间
读之前最好知道
1Transformer 架构
2自注意力机制
3迁移学习与微调
4词向量(word embeddings)

学习路径

读这篇之前,按顺序读书架上的 6 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

先从词向量一路读到上下文化表示、预训练微调和 Transformer,就能理解 BERT 为什么用双向 Transformer 加掩码语言模型来做预训练。

  1. 1
    Efficient Estimation of Word Representations in Vector Space向量空间中词表示的高效估计 · 2013

    无监督预训练得到可迁移表示的最早成功例子

    读CBOW 与 Skip-gram 的目标;理解静态词向量为什么不够

  2. 2
    Deep contextualized word representations深度上下文化词表示(ELMo) · 2018

    BERT 直接对比的上下文化表示,且是单向拼接的双向模型

    读双向语言模型的层间加权表示;对照 BERT 的“深度双向”

  3. 3
    Universal Language Model Fine-tuning for Text Classification面向文本分类的通用语言模型微调 · 2018

    BERT 沿用的“预训练后整体微调”做法

    读微调流程与逐层解冻、判别式学习率;对照 BERT 的微调

  4. 4
    Attention Is All You Need注意力就是你所需要的一切 · 2017

    BERT 的模型本体就是 Transformer 编码器

    读第 3 节的编码器、自注意力和多头注意力、位置编码;跳过解码器

  5. 5
    Google's Neural Machine Translation System: Bridging the Gap between Human and Machine Translation谷歌神经机器翻译系统:弥合人类与机器翻译之间的差距 · 2016

    BERT 的 WordPiece 子词分词来自这个系统

    读WordPiece 分词部分;理解为何用子词处理未登录词

  6. 6

    BookCorpus 预训练语料的来源

    读只需了解 BookCorpus 数据的构成;不必读视觉对齐部分

  7. 7
    BERT: Pre-training of Deep Bidirectional Transformers for Language UnderstandingBERT:用于语言理解的深度双向 Transformer 预训练 · 2018 · 就是这篇

    目标论文:双向 Transformer 加掩码语言模型预训练

    读第 3 节的 MLM 与下一句预测任务、输入表示,第 4 节各任务微调方式

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
推荐PeterisP · 2023-10

“and then on the BERT structure which does a conceptually similar thing but with a large neural network that can learn more from the same data.”

推荐 BERT,称它用大型神经网络从同样数据中学到更多
Embeddings: What they are and why they matter原评论 ↗
引用yoquan · 2019-02

“All of the parameters of BERT and W are fine-tuned jointly to maximize the log-probability of the correct label.”

引用原文说明 BERT 微调时联合调整所有参数
Generalized Language Models原评论 ↗
引用mlucy · 2019-02

“Google's BERT paper does sentence-level pretraining and transfer to get state of the art results on a bunch of problems: BERT”

拿它说明句子级预训练加迁移在多项任务上达到 SOTA
The Unreasonable Effectiveness of Deep Feature Extraction原评论 ↗
引用solomatov · 2019-02

“BERT used GPT's architecture but trained in a different way.”

说明 BERT 沿用 GPT 的架构但训练方式不同
Microsoft’s New MT-DNN Outperforms Google BERT原评论 ↗
引用ColinWright · 2019-02

“OK, now I've clicked the correct random link and got the earlier paper: BERT”

贴出 BERT 原始论文,纠正之前点错的链接
Dissecting Bert原评论 ↗
引用probably_wrong · 2019-03

“And they claim to be bery flexible, too[2].”

提到 BERT 号称用途非常灵活
Yann LeCun, Geoffrey Hinton and Yoshua Bengio win Turing Award原评论 ↗
看全部 20 条 →
引用ivalm · 2019-08

“If you compare to BERT paper BERT training data for”

拿 BERT 论文里的预训练语料规模做对比
GPT-2: 6-Month Follow-Up原评论 ↗
引用obmelvin · 2020-01

“original BERT paper:BERT”

贴出 BERT 原始论文供查阅
Google Research: Looking Back at 2019, and Forward to 2020 and Beyond原评论 ↗
引用tempodox · 2021-01

“BERT, which stands for Bidirectional Encoder Representations from Transformers.”

解释 BERT 这个缩写的全称
Machine Learning: The Great Stagnation原评论 ↗
引用svcrunch · 2022-11

“they have led, and continue to lead, much of the pioneering research in NLP and neural IR for the past decade [3][4][5].”

把 BERT 当作 Google 引领 NLP 与神经检索研究的例子
Building a semantic search engine in Rust原评论 ↗
引用lossolo · 2022-12

“You mean NLP field changing models from Google like BERT [1]?”

拿 BERT 举例,说明 Google 的模型改变了 NLP 领域
AlphaCode Attention Visualization原评论 ↗
引用vikashrungta · 2023-02

“I posted a list of papers on twitter, and will be posting a summary for each of them as well.”

把 BERT 列入自己在推特上整理的奠基性论文清单
What were the 40 research papers on the list Ilya Sutskever gave John Carmack?原评论 ↗
引用advisedwang · 2023-03

“2018 bert: BERT”

把 BERT 列在 Google 早期语言模型论文清单中
Google internally developed chatbots like ChatGPT years ago原评论 ↗
引用seanhunter · 2023-03

“For people who are not aware, Jacob Devlin isn't just some random Google engineer, he was one of the authors of the original BERT paper.”

指出 Jacob Devlin 是 BERT 原论文的作者之一
Google trained Bard on ChatGPT chats from ShareGPT原评论 ↗
引用oersted · 2023-06

“the paper [1] mentions that the pretraining took 4 days on 16 TPU chips for the BERT-Base model”

引用论文中 BERT-Base 在 16 块 TPU 上预训练 4 天的数据
Notes on training BERT from scratch on an 8GB consumer GPU原评论 ↗
引用areyoukillingm3 · 2023-07

“Is it this one? "BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding":BERT”

提出这篇可能就是要找的 BERT 论文,没做评价
Ask HN: How to Break into AI Engineering原评论 ↗
引用NaiveBayesian · 2023-09

“BERT: BERT”

把 BERT 列为以芝麻街角色命名的语言模型之一
Ernie, China's ChatGPT, Cracks Under Pressure原评论 ↗
引用smoldesu · 2023-10

“OpenAI was most certainly not the first organization to develop (or distribute) an LLM model:”

拿 BERT 说明 OpenAI 并非最早开发 LLM 的机构
Ask HN: Why is OpenAI still called OpenAI?原评论 ↗
引用bhickey · 2024-02

“The term 'GPT' was first used in the BERT paper to refer to Generic Pre-trained Transformers.”

指出 GPT 这个术语最早出现在 BERT 论文里
OpenAI – Application for US trademark “GPT” has failed原评论 ↗
引用melvinmelih · 2024-09

“BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding: BERT”

把它列为某工具先修书生成器的测试输入
Show HN: Turn Any ArXiv Paper into a 200-Page Prerequisite Reading Book原评论 ↗