引用andy12_ · 2025-05
“I think that it's a poorly named reference to this paper [1] that they mention in the blogpost.”
认为博客里提到的那个命名不当的东西指的就是这篇嵌套 Transformer 论文
在 FFN 中嵌套多个子块,训练一次即可抽出数百个可用的小模型。
基础模型要在从大型集群到手机的不同推理约束下部署,但训练成本限制了可提供的模型尺寸种类。MatFormer 在标准 Transformer 中引入嵌套的前馈网络(FFN)块结构,训练时同时优化多个不同大小的嵌套 FFN 块,无需额外训练成本即可抽出数百个准确的小模型。实验在解码器和编码器、语言和视觉上验证:850M 的 MatLM 可抽出 582M 到 850M 的多个子模型,其验证损失和单样本下游评测优于独立训练的同规模模型;MatViT 抽出的小编码器保留度量空间结构,适用于自适应大规模检索;子模型还可用于推测解码以显著降低延迟。
评论者指出某个名称不太贴切的叫法其实指向这篇论文,并提到 Gemma 模型已采用 MatFormer 架构以实现动态计算。
“I think that it's a poorly named reference to this paper [1] that they mention in the blogpost.”
“They also shipped Gemma models with their new Matformer architecture which allows for dynamic computation.”