按年被提到
20192019 · 5 次2026
大模型与语言模型›词向量与预训练模型·arXiv:1906.08237 · cs.CL

XLNet: Generalized Autoregressive Pretraining for Language Understanding

XLNet:面向语言理解的广义自回归预训练
Zhilin Yang, Zihang Dai, Yiming Yang, Jaime Carbonell, Ruslan Salakhutdinov, Quoc V. Le · 2019

用排列语言建模兼取自回归与双向上下文,在 20 项任务上超越 BERT

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 9 人首次 2019-06-20 · 最近 2023-02-08
9不同的人
6活跃月份
9讨论串
7,061被引(OpenAlex)

论文针对 BERT 依靠掩码破坏输入、忽略被掩码位置间依赖并存在预训练与微调不一致的问题,提出 XLNet:通过对分解顺序的所有排列最大化期望似然来学习双向上下文,并利用自回归形式克服 BERT 的局限,同时融合 Transformer-XL 的思想。在可比实验设置下,XLNet 在包括问答、自然语言推理、情感分析和文档排序在内的 20 项任务上优于 BERT,且常常优势明显。

HN 为什么提它

HN 上的人在 BERT 之后把 XLNet 当作超越 BERT 的新一代预训练方法来引用,并讨论其训练语料规模、Transformer-XL 的渊源和作为生成器的表现。

方法难度 4 / 5约 60 分钟有时效性
读之前最好知道
1Transformer 架构
2BERT 与掩码语言建模
3自回归语言模型
4Transformer-XL 与相对位置编码

学习路径

读这篇之前,按顺序读书架上的 4 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

这条路径帮我理清 Transformer、上下文化词表示、BERT 的双向预训练,以及 Transformer-XL 的长上下文机制,这些正是 XLNet 要统一和改进的东西。

  1. 1
    Attention Is All You Need注意力就是你所需要的一切 · 2017

    XLNet 的主干是 Transformer,注意力机制必须先懂。

    读自注意力与位置编码的概念;理解 attention mask 如何控制可见范围。

  2. 2
    Deep contextualized word representations深度上下文化词表示(ELMo) · 2018

    代表自回归式(单向)语言模型预训练的一条线,XLNet 要吸收其优点。

    读双向语言模型的内部状态如何变成上下文化词向量。

  3. 3
    BERT: Pre-training of Deep Bidirectional Transformers for Language UnderstandingBERT:用于语言理解的深度双向 Transformer 预训练 · 2018

    XLNet 针对 BERT 的 mask 预训练缺点提出改进,必须清楚 BERT 做了什么。

    读掩码语言模型目标以及预训练与微调之间的 [MASK] 不一致问题。

  4. 4
    Transformer-XL: Attentive Language Models Beyond a Fixed-Length ContextTransformer-XL:超越固定长度上下文的注意力语言模型 · 2019

    XLNet 直接沿用了 Transformer-XL 的段级循环和相对位置编码。

    读段级循环机制与相对位置编码的思路;理解缓存上一段隐状态的做法。

  5. 5
    XLNet: Generalized Autoregressive Pretraining for Language UnderstandingXLNet:面向语言理解的广义自回归预训练 · 2019 · 就是这篇

    目标论文:用排列语言建模兼取自回归与双向上下文。

    读排列语言建模目标和双流自注意力;对比 BERT 的独立性假设。

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用gwern · 2019-06

“Speaking of which: XLNet [LINK]”

顺势提到 XLNet,它把 BERT 的目标与 GPT-2 的语料结合
The transformer “explained”?原评论 ↗
引用dweekly · 2019-07

“XLNet: Hold my beer.”

用“Hold my beer”调侃 XLNet 登场,超过此前语言理解最佳水平
MT-DNN Achieves Human Performance in General Language Understanding Benchmark原评论 ↗
引用ivalm · 2019-08

“If you read the XLNet paper XLNet they clearly state in section 3.1:”

引其 3.1 节说明 XLNet 预训练语料约 330 亿子词,远大于 BERT
GPT-2: 6-Month Follow-Up原评论 ↗
引用baalimago · 2019-08

“XLNet is in essence a recurrent neural network”

指出 XLNet 本质上是一种循环神经网络
Natural Language Processing: The Age of Transformers原评论 ↗
引用liviosoares · 2020-08

“XLnet, and the underlying TransformerXL technology, did have Google researchers involved:”

指出 XLNet 及其底层的 Transformer-XL 技术有 Google 研究者参与
Deep learning job postings have collapsed in the past six months原评论 ↗
引用kastnerkyle · 2022-05

“XLNet had some of this promise too but I never had much luck with it as a pure generator.”

提到 XLNet 的排列式预训练也有这种潜力,但作纯生成器效果不佳
Show HN: Catchy melodies made with a diffusion-based neural net assistant原评论 ↗
看全部 8 条 →
引用SemanticStrengh · 2022-05

“See xlnet for the rethoric”

用 XLNet 说明掩码建模会丢失信息的论点
Teaching GPT-3 to reverse words原评论 ↗
引用vikashrungta · 2023-02

“I posted a list of papers on twitter, and will be posting a summary for each of them as well.”

把 XLNet 列入自己在推特上发的基础论文清单
What were the 40 research papers on the list Ilya Sutskever gave John Carmack?原评论 ↗
被提交为 story · 1 次