按年被提到
20192023 · 2 次2026
大模型与语言模型›大模型预训练与缩放·arXiv:1907.11692 · cs.CL

RoBERTa: A Robustly Optimized BERT Pretraining Approach

RoBERTa:稳健优化的 BERT 预训练方法
Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, Veselin Stoyanov · 2019

对 BERT 预训练的复现研究:BERT 严重欠训练,调好后可超越后继模型

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 3 人首次 2019-07-29 · 最近 2023-11-27
3不同的人
3活跃月份
3讨论串
24,924被引(OpenAlex)

论文对 BERT 预训练做了复现研究,细致衡量了许多关键超参数和训练数据规模的影响。作者发现 BERT 明显训练不足,经过改进后可以达到甚至超过其后发布的所有模型的表现;最佳模型在 GLUE、RACE 和 SQuAD 上取得最先进的结果。这些结果突出了此前被忽视的设计选择的重要性,并对近期报告的改进来自何处提出疑问,作者同时发布了模型和代码。

HN 为什么提它

评论者把它与其他基础性论文一起列入阅读清单,也在梳理 FAIR 的开放发布历史时顺带引用,没有对论文本身做评价。

实证研究难度 3 / 5约 40 分钟经得起时间
读之前最好知道
1Transformer 架构
2BERT 与掩码语言模型预训练
3GLUE/SQuAD 等 NLP 基准
4超参数调优与大规模训练

学习路径

读这篇之前,按顺序读书架上的 7 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

先看 Transformer、BERT 及其预训练与微调的脉络,再看 XLNet、SpanBERT 等改进,读 RoBERTa 如何把 BERT 训练得更充分。

  1. 1
    Attention Is All You Need注意力就是你所需要的一切 · 2017

    BERT 与 RoBERTa 的架构基础。

    读抓多头自注意力和编码器结构;跳过解码器细节。

  2. 2
    Universal Language Model Fine-tuning for Text Classification面向文本分类的通用语言模型微调 · 2018

    预训练加微调的早期范式,是 BERT 路线的前身。

    读抓语言模型预训练后微调到下游任务的思想。

  3. 3
    BERT: Pre-training of Deep Bidirectional Transformers for Language UnderstandingBERT:用于语言理解的深度双向 Transformer 预训练 · 2018

    RoBERTa 复现并改进的对象。

    读抓掩码语言模型、下一句预测目标和预训练设置。

  4. 4

    BookCorpus 的来源,是 BERT 与 RoBERTa 预训练数据的一部分。

    读只需知道它提供了书籍文本语料,不必看视觉对齐部分。

  5. 5
    XLNet: Generalized Autoregressive Pretraining for Language UnderstandingXLNet:面向语言理解的广义自回归预训练 · 2019

    同期强竞争模型,RoBERTa 的比较对象之一。

    读抓排列语言建模目标,以及它与 BERT 目标的区别。

  6. 6

    改进掩码目标的同期工作,与 RoBERTa 对 BERT 目标设计的讨论相关。

    读抓片段掩码与片段边界目标,对比 RoBERTa 对下一句预测的取舍。

  7. 7
    Adam: A Method for Stochastic OptimizationAdam:一种随机优化方法 · 2014

    RoBERTa 对 Adam 的超参数做了调整,需要懂其含义。

    读抓一阶、二阶矩估计和 epsilon、beta 参数的作用。

  8. 8
    RoBERTa: A Robustly Optimized BERT Pretraining ApproachRoBERTa:稳健优化的 BERT 预训练方法 · 2019 · 就是这篇

    对 BERT 预训练的复现研究:BERT 严重欠训练,调好后可超越后继模型。

    读抓去掉下一句预测、动态掩码、更大批量和更多数据的消融。

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用vikashrungta · 2023-02

“I posted a list of papers on twitter, and will be posting a summary for each of them as well.”

把 RoBERTa 列入自己发在推特上的基础论文清单
What were the 40 research papers on the list Ilya Sutskever gave John Carmack?原评论 ↗
引用ninjin · 2023-11

“[6]: RoBERTa”

把它列为 FAIR 开源发布历史中的一项参考,未作评价
Yann LeCun on why AI must be open source [video]原评论 ↗
被提交为 story · 1 次