“I posted a list of papers on twitter, and will be posting a summary for each of them as well.”
RoBERTa: A Robustly Optimized BERT Pretraining Approach
对 BERT 预训练的复现研究:BERT 严重欠训练,调好后可超越后继模型
论文对 BERT 预训练做了复现研究,细致衡量了许多关键超参数和训练数据规模的影响。作者发现 BERT 明显训练不足,经过改进后可以达到甚至超过其后发布的所有模型的表现;最佳模型在 GLUE、RACE 和 SQuAD 上取得最先进的结果。这些结果突出了此前被忽视的设计选择的重要性,并对近期报告的改进来自何处提出疑问,作者同时发布了模型和代码。
评论者把它与其他基础性论文一起列入阅读清单,也在梳理 FAIR 的开放发布历史时顺带引用,没有对论文本身做评价。
学习路径
读这篇之前,按顺序读书架上的 7 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出先看 Transformer、BERT 及其预训练与微调的脉络,再看 XLNet、SpanBERT 等改进,读 RoBERTa 如何把 BERT 训练得更充分。
- 1
- 2
预训练加微调的早期范式,是 BERT 路线的前身。
读抓语言模型预训练后微调到下游任务的思想。
- 3
RoBERTa 复现并改进的对象。
读抓掩码语言模型、下一句预测目标和预训练设置。
- 4
BookCorpus 的来源,是 BERT 与 RoBERTa 预训练数据的一部分。
读只需知道它提供了书籍文本语料,不必看视觉对齐部分。
- 5
同期强竞争模型,RoBERTa 的比较对象之一。
读抓排列语言建模目标,以及它与 BERT 目标的区别。
- 6
改进掩码目标的同期工作,与 RoBERTa 对 BERT 目标设计的讨论相关。
读抓片段掩码与片段边界目标,对比 RoBERTa 对下一句预测的取舍。
- 7
RoBERTa 对 Adam 的超参数做了调整,需要懂其含义。
读抓一阶、二阶矩估计和 epsilon、beta 参数的作用。
- 8RoBERTa: A Robustly Optimized BERT Pretraining Approach
对 BERT 预训练的复现研究:BERT 严重欠训练,调好后可超越后继模型。
读抓去掉下一句预测、动态掩码、更大批量和更多数据的消融。
HN 书评
推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及“[6]: RoBERTa”
- RoBERTa: A Robustly Optimized Bert Pretraining Approach ↗sel1 · 2019-07-29 · 1 分