“A nice complement to this is Andrej Karpathy's Software 2.0 essay.”
One Model To Learn Them All
单个模型联合学习图像、翻译、语音和句法解析
论文提出一个单一模型,在 ImageNet、多个翻译任务、COCO 图像描述、语音识别语料和英语句法分析上同时训练,在多个领域都取得不错的结果。其架构融合了卷积层、注意力机制和稀疏门控层,作者观察到即便某个模块对某任务并不关键,加入它也不会损害性能、多数情况下还能提升,数据较少的任务从联合训练中受益最大,而大任务的性能几乎不受影响。
2017 年评论者把它当作多任务、跨领域统一模型的早期例子,与 Karpathy 的 Software 2.0 并提,2019 年也有人以略带批评的口吻提到它。
学习路径
读这篇之前,按顺序读书架上的 6 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出这条路径先补序列到序列、残差网络和机器翻译系统,再看多语言单模型与卷积序列模型,才能理解 MultiModel 如何把图像、语音和文本任务塞进同一个模型。
- 1
MultiModel 处理文本任务时沿用编码器-解码器的序列到序列框架。
读编码器读入、解码器逐步生成的基本结构;理解自回归输出的概念。
- 2
MultiModel 的图像和卷积模块里大量使用残差连接。
读残差块 y = F(x) + x 的思想,以及它为何让深层网络可训练。
- 3
GNMT 是当时的翻译系统基线,MultiModel 的翻译任务与它对比。
读注意力式的编码器-解码器结构与整体系统设计;跳过推理加速和量化部分。
- 4
同一个模型处理多种语言对,是 MultiModel 多任务共享一个模型的前身。
读在输入前加目标语言标记的做法,以及单模型共享参数的思路。
- 5
ByteNet 用卷积而非循环处理序列,与 MultiModel 用卷积和注意力处理序列的路线相近。
读扩张卷积的堆叠与线性时间复杂度的概念;对比它与循环网络的区别。
- 6
- 7One Model To Learn Them All
目标论文:单个模型同时训练图像、翻译、语音和句法解析等任务。
读各模态的 modality net 与共享主体的设计,以及多任务联合训练后小任务受益的结果。
HN 书评
推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及“lest we forget papers like "One Model To Learn Them All" [1].”
“And code:”
“Related paper: "One Model To Learn Them All"[1].”
“which is trained to learn to perform multiple image-recognition, language-translation, image-captioning, speech-recognition, and language-parsing tasks at the same time”
- One Model to Learn Them All ↗dsr12 · 2017-06-19 · 3 分
- One Model to Learn Them All ↗rfreytag · 2017-06-19 · 3 分
- One Model to Learn Them All ↗jonbaer · 2017-06-20 · 3 分
- One Model to Learn Them All ↗nopinsight · 2017-06-21 · 6 分
- One model to learn them all ↗sonabinu · 2017-06-22 · 2 分
- Deep Learning: One Model to Learn Them All ↗endswapper · 2017-06-23 · 2 分