按年被提到
20192020 · 4 次2026
大模型与语言模型›词向量与预训练模型·arXiv:1910.10683 · cs.LG

Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer

探索迁移学习的极限:统一的文本到文本 Transformer
Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, Peter J. Liu · 2019

T5:把所有 NLP 任务统一成文本到文本

开始阅读 ↗PDFalphaXiv 讨论
被推荐 · 10 人首次 2019-10-25 · 最近 2024-07-13
10不同的人
8活跃月份
9讨论串
12,031被引(OpenAlex)

论文提出把所有文本语言任务都转为文本到文本格式的统一框架,并在数十个语言理解任务上系统比较预训练目标、架构、无标注数据集和迁移方法等因素。结合这些发现、更大的规模和新的 Colossal Clean Crawled Corpus(C4),在摘要、问答、文本分类等众多基准上取得了当时最好的结果,并开放了数据集、预训练模型和代码。

HN 为什么提它

评论者把它作为谷歌 T5 的原始出处:它在 GLUE/SuperGLUE 上刷新纪录,并公开了完整权重、数据集和消融实验,也有人指出 C4 的构建细节披露不多。

奠基之作难度 3 / 5约 100 分钟经得起时间
读之前最好知道
1Transformer 架构
2预训练与微调(迁移学习)
3编码器-解码器模型
4NLP 基准(GLUE、SuperGLUE)

学习路径

读这篇之前,按顺序读书架上的 7 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

先理解 Transformer、ELMo 与 ULMFiT 的迁移学习路线,再看 BERT 及其后续改进 XLNet、RoBERTa、ALBERT,就能读懂 T5 如何在统一的文本到文本框架下系统比较预训练目标和架构。

  1. 1
    Attention Is All You Need注意力就是你所需要的一切 · 2017

    T5 的主体就是 Transformer 的编码器-解码器,所有实验都建在它之上。

    读编码器-解码器结构、多头注意力和位置编码的概念。

  2. 2
    Deep contextualized word representations深度上下文化词表示(ELMo) · 2018

    ELMo 是用语言模型预训练做迁移的代表,是 T5 所比较的迁移路线的起点之一。

    读用预训练表示做特征迁移的做法,以及它与微调的区别。

  3. 3
    Universal Language Model Fine-tuning for Text Classification面向文本分类的通用语言模型微调 · 2018

    ULMFiT 把预训练语言模型加微调推广到文本分类,奠定了先预训练再微调的流程。

    读逐层解冻与判别式学习率的微调技巧;理解迁移流程即可。

  4. 4
    BERT: Pre-training of Deep Bidirectional Transformers for Language UnderstandingBERT:用于语言理解的深度双向 Transformer 预训练 · 2018

    BERT 的掩码语言模型目标是 T5 比较预训练目标时的重要基线。

    读掩码语言模型和下一句预测的目标设计,以及加输出层微调的方式。

  5. 5
    RoBERTa: A Robustly Optimized BERT Pretraining ApproachRoBERTa:稳健优化的 BERT 预训练方法 · 2019

    RoBERTa 说明预训练细节如数据量和训练长度影响很大,T5 的系统比较沿用了这种实证精神。

    读BERT 欠训练的发现和去掉下一句预测、更大批量等调整。

  6. 6
    XLNet: Generalized Autoregressive Pretraining for Language UnderstandingXLNet:面向语言理解的广义自回归预训练 · 2019

    XLNet 用排列语言建模作为另一种预训练目标,是 T5 对比的目标之一。

    读排列语言建模如何兼顾自回归与双向上下文。

  7. 7
    ALBERT: A Lite BERT for Self-supervised Learning of Language RepresentationsALBERT:用于语言表示自监督学习的轻量 BERT · 2019

    ALBERT 通过共享参数减少规模,与 T5 研究的模型规模和参数共享问题相关。

    读因式分解嵌入和跨层参数共享的做法。

  8. 8
    Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer探索迁移学习的极限:统一的文本到文本 Transformer · 2019 · 就是这篇

    目标论文:把所有文本任务统一成文本到文本,系统比较预训练目标、架构、数据与迁移方式。

    读文本到文本框架、span 破坏式预训练目标、C4 数据集,以及各项消融的主要结论。

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
推荐nopinsight · 2019-10

“I’d like to emphasize that the work and the paper are excellent.”

强调这项工作和论文都非常出色
Google T5 scores 88.9 on SuperGLUE Benchmark, approaching human baseline原评论 ↗
引用gradys · 2020-01

“T5 is another architecture from Google that set the SOTA on GLUE and SuperGLUE this year: Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer”

举 T5 为例:今年在 GLUE 和 SuperGLUE 上刷新 SOTA
Google Research: Looking Back at 2019, and Forward to 2020 and Beyond原评论 ↗
引用nl · 2020-02

“Google's T5[1] and Microsoft Turing-NLG[2] come to mind.”

举 T5 为例,说明大型 Transformer 推进了 NLP 的最佳水平
Graph Neural Networks – An Overview原评论 ↗
引用craffel · 2020-02

“We include MASS in our empirical survey (see e.g. section 3.3.2 of our paper, Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer).”

指出其实证综述涵盖了 MASS,见 3.3.2 节
T5: The Text-to-Text Transfer Transformer原评论 ↗
引用akie · 2020-02

“mention almost nothing, except for an option to switch off the cleaning & deduplication”

批评它几乎没说明 C4 如何构建,只提到可关闭清洗和去重
T5: The Text-to-Text Transfer Transformer原评论 ↗
引用lossolo · 2022-12

“or T5 model [3] (used by company doing ChatGPT like search currently on the front page on HN)?”

提到 T5 模型被一家类 ChatGPT 搜索公司使用
AlphaCode Attention Visualization原评论 ↗
看全部 9 条 →
引用vikashrungta · 2023-02

“I posted a list of papers on twitter, and will be posting a summary for each of them as well.”

把 T5 列入自己发在推特上的基础论文清单
What were the 40 research papers on the list Ilya Sutskever gave John Carmack?原评论 ↗
引用gdiamos · 2023-07

“[2] - Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer”

把它列为灵感来源之一,没有给出具体说明
Free and Fast LLM Finetuning原评论 ↗
引用jncraton · 2024-02

“This included full model weights along with a detailed description of the dataset, training process, and ablations that led them to that architecture.”

称赞它公开了完整权重、数据集、训练细节和消融实验
Gemma: New Open Models原评论 ↗
被提交为 story · 1 次