“I’d like to emphasize that the work and the paper are excellent.”
Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer
T5:把所有 NLP 任务统一成文本到文本
论文提出把所有文本语言任务都转为文本到文本格式的统一框架,并在数十个语言理解任务上系统比较预训练目标、架构、无标注数据集和迁移方法等因素。结合这些发现、更大的规模和新的 Colossal Clean Crawled Corpus(C4),在摘要、问答、文本分类等众多基准上取得了当时最好的结果,并开放了数据集、预训练模型和代码。
评论者把它作为谷歌 T5 的原始出处:它在 GLUE/SuperGLUE 上刷新纪录,并公开了完整权重、数据集和消融实验,也有人指出 C4 的构建细节披露不多。
学习路径
读这篇之前,按顺序读书架上的 7 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出先理解 Transformer、ELMo 与 ULMFiT 的迁移学习路线,再看 BERT 及其后续改进 XLNet、RoBERTa、ALBERT,就能读懂 T5 如何在统一的文本到文本框架下系统比较预训练目标和架构。
- 1
- 2
ELMo 是用语言模型预训练做迁移的代表,是 T5 所比较的迁移路线的起点之一。
读用预训练表示做特征迁移的做法,以及它与微调的区别。
- 3
ULMFiT 把预训练语言模型加微调推广到文本分类,奠定了先预训练再微调的流程。
读逐层解冻与判别式学习率的微调技巧;理解迁移流程即可。
- 4
BERT 的掩码语言模型目标是 T5 比较预训练目标时的重要基线。
读掩码语言模型和下一句预测的目标设计,以及加输出层微调的方式。
- 5
RoBERTa 说明预训练细节如数据量和训练长度影响很大,T5 的系统比较沿用了这种实证精神。
读BERT 欠训练的发现和去掉下一句预测、更大批量等调整。
- 6
XLNet 用排列语言建模作为另一种预训练目标,是 T5 对比的目标之一。
读排列语言建模如何兼顾自回归与双向上下文。
- 7
ALBERT 通过共享参数减少规模,与 T5 研究的模型规模和参数共享问题相关。
读因式分解嵌入和跨层参数共享的做法。
- 8Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer
目标论文:把所有文本任务统一成文本到文本,系统比较预训练目标、架构、数据与迁移方式。
读文本到文本框架、span 破坏式预训练目标、C4 数据集,以及各项消融的主要结论。
HN 书评
推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及“T5 is another architecture from Google that set the SOTA on GLUE and SuperGLUE this year: Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer”
“Google's T5[1] and Microsoft Turing-NLG[2] come to mind.”
“We include MASS in our empirical survey (see e.g. section 3.3.2 of our paper, Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer).”
“mention almost nothing, except for an option to switch off the cleaning & deduplication”
“or T5 model [3] (used by company doing ChatGPT like search currently on the front page on HN)?”
看全部 9 条 →
“I posted a list of papers on twitter, and will be posting a summary for each of them as well.”
“[2] - Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer”
“This included full model weights along with a detailed description of the dataset, training process, and ablations that led them to that architecture.”
- Exploring the Limits of Transfer Learning with a Unified Transformer (2019) ↗yeesian · 2024-07-13 · 12 分