按年被提到
20242024 · 7 次2026
大模型与语言模型›混合专家与高效训练·arXiv:2404.02258 · cs.LG

Mixture-of-Depths: Dynamically allocating compute in transformer-based language models

Mixture-of-Depths:在基于 Transformer 的语言模型中动态分配计算
David Raposo, Sam Ritter, Blake Richards, Timothy Lillicrap, Peter Conway Humphreys, Adam Santoro · 2024

Mixture-of-Depths:用 top-k 路由给每个 token 动态分配计算

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 8 人首次 2024-04-04 · 最近 2026-09-09
8不同的人
3活跃月份
8讨论串
53被引(OpenAlex)

传统 Transformer 把 FLOPs 均匀花在序列的每个位置上。论文让网络通过 top-k 路由,在每一层选出至多 k 个 token 参与自注意力和 MLP 计算,从而在总计算预算固定的前提下,沿序列和深度非均匀地花费 FLOPs;由于 k 事先给定,计算图是静态的、张量大小已知。训练出的模型在同等 FLOPs 和训练时间下与基线表现相当,但每次前向所需 FLOPs 更少,训练后采样时单步可快 50% 以上。

HN 为什么提它

评论者在讨论按 token 动态分配计算、跳过部分层的做法时,把它作为相关工作提及。

方法难度 4 / 5约 35 分钟经得起时间
读之前最好知道
1Transformer 架构
2混合专家(Mixture of Experts)与路由
3条件计算(conditional computation)
4FLOPs 与训练效率

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用huac · 2024-04

“It also feels similar to mixture of depths.”

觉得当前做法也像 mixture of depths:按 token 动态分配计算
Show HN: Speeding up LLM inference 2x times (possibly)原评论 ↗
引用SuchAnonMuchWow · 2024-08

“See for example: Mixture-of-Depths”

贴出它为例:固定的计算预算可在网络各部分间动态分配
Antifragility in complex dynamical systems原评论 ↗
引用lwarfield · 2026-09

“I'm kinda surprised that the mixture of depths paper didn't come up here. It approaches the other direction of sometimes dropping layers:”

惊讶讨论里没人提 mixture of depths,它从另一方向出发,让 token 路由时跳过某些层
GPT-6 Astra, looped transformers, and hidden reasoning原评论 ↗
被提交为 story · 5 次