“Speaking of which: XLNet [LINK]”
XLNet: Generalized Autoregressive Pretraining for Language Understanding
用排列语言建模兼取自回归与双向上下文,在 20 项任务上超越 BERT
论文针对 BERT 依靠掩码破坏输入、忽略被掩码位置间依赖并存在预训练与微调不一致的问题,提出 XLNet:通过对分解顺序的所有排列最大化期望似然来学习双向上下文,并利用自回归形式克服 BERT 的局限,同时融合 Transformer-XL 的思想。在可比实验设置下,XLNet 在包括问答、自然语言推理、情感分析和文档排序在内的 20 项任务上优于 BERT,且常常优势明显。
HN 上的人在 BERT 之后把 XLNet 当作超越 BERT 的新一代预训练方法来引用,并讨论其训练语料规模、Transformer-XL 的渊源和作为生成器的表现。
学习路径
读这篇之前,按顺序读书架上的 4 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出这条路径帮我理清 Transformer、上下文化词表示、BERT 的双向预训练,以及 Transformer-XL 的长上下文机制,这些正是 XLNet 要统一和改进的东西。
- 1
- 2
- 3
XLNet 针对 BERT 的 mask 预训练缺点提出改进,必须清楚 BERT 做了什么。
读掩码语言模型目标以及预训练与微调之间的 [MASK] 不一致问题。
- 4
XLNet 直接沿用了 Transformer-XL 的段级循环和相对位置编码。
读段级循环机制与相对位置编码的思路;理解缓存上一段隐状态的做法。
- 5XLNet: Generalized Autoregressive Pretraining for Language Understanding
目标论文:用排列语言建模兼取自回归与双向上下文。
读排列语言建模目标和双流自注意力;对比 BERT 的独立性假设。
HN 书评
推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及“XLNet: Hold my beer.”
“If you read the XLNet paper XLNet they clearly state in section 3.1:”
“XLNet is in essence a recurrent neural network”
“XLnet, and the underlying TransformerXL technology, did have Google researchers involved:”
“XLNet had some of this promise too but I never had much luck with it as a pure generator.”
看全部 8 条 →
- XLNet: Generalized Autoregressive Pretraining for Language Understanding ↗asparagui · 2019-06-20 · 79 分