“will techniques to scale up model size continue to be a primary focus (eg as in [4])”
Switch Transformers: Scaling to Trillion Parameter Models with Simple and Efficient Sparsity
简化 MoE 路由,用稀疏激活把预训练速度提升至 7 倍
混合专家(MoE)对每个输入选择不同参数,得到参数极多但计算量恒定的稀疏激活模型,但复杂性、通信开销和训练不稳定阻碍了广泛采用。Switch Transformer 简化了 MoE 路由算法,设计出通信与计算成本更低的改进模型,并提出稳定训练的技术,首次表明大型稀疏模型可用低精度(bfloat16)训练。基于 T5-Base 和 T5-Large 设计的模型在相同计算资源下预训练速度最高提升 7 倍,在 mT5-Base 的 101 种语言上都有提升;作者还在 C4 语料上预训练了万亿参数模型,相比 T5-XXL 实现 4 倍加速。
评论者把它当作稀疏混合专家路由与万亿参数规模的代表,用来猜测闭源大模型的结构;也有人指出参数量大并不等于性能成比例提升。
学习路径
读这篇之前,按顺序读书架上的 7 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出先看 Transformer 与 T5 这条主干,再看缩放定律和大模型并行与 MoE 的工程基础,最后读 Switch 如何简化路由。
- 1
- 2
Switch 以 T5 为基线与架构
读T5 的文本到文本框架与模型规模设置,作为对比基线
- 3
- 4
巨型网络的流水线并行,是训练大模型的并行手段之一
读按层切分与微批次流水线的思路
- 5
- 6
Switch 之前最直接的大规模 MoE 工作,路由方式是它要简化的对象
读top-2 路由、专家容量与自动分片,理解 Switch 简化了什么
- 7
- 8Switch Transformers: Scaling to Trillion Parameter Models with Simple and Efficient Sparsity
目标论文:简化 MoE 路由的 Switch Transformer
读单专家路由、负载均衡损失与训练稳定技巧
HN 书评
推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及“Mixture of Expert models like the Switch Transformer [2] can be 1 trillion parameters in size, but are not 5X the performance, for example.”
“My educated guess is that they use a MoE-style model similar to the Switch transformer[0]”
“If it's similar to the switch transformer architecture [1], which I suspect it is, then the models are all trained on the same corpus and the routing model learns automatically which experts to route to.”
“Mixture of Experts* approach comprised of 8 220B parameter models.”
“Here is a paper from few years ago where they talk about 7x speed increase, which equates to savings.”
- Switch Transformers: Scaling to Trillion Parameter Models with Sparsity ↗hardmaru · 2021-01-12 · 3 分
- Switch Transformers: Trillion Parameter Models from Googleent Sparsity ↗turingbook · 2021-01-12 · 1 分
- Switch Transformers Scaling to Trillion Parameter Models ↗317070 · 2021-01-13 · 1 分
- Switch Transformers: Scaling to Trillion Parameter Models with Simple Sparsity ↗jbesomi · 2021-01-14 · 2 分
- Google breaks the trillion-parameter ceiling with the Switch Transformer ↗groar · 2021-01-18 · 48 分