按年被提到
20232023 · 1 次2026
大模型与语言模型›量化、解码与分词·arXiv:2310.07707 · cs.LG

MatFormer: Nested Transformer for Elastic Inference

MatFormer:用于弹性推理的嵌套 Transformer
Devvrit, Sneha Kudugunta, Aditya Kusupati, Tim Dettmers, Kaifeng Chen, Inderjit Dhillon, Yulia Tsvetkov, Hannaneh Hajishirzi, Sham Kakade, Ali Farhadi, Prateek Jain · 2023

在 FFN 中嵌套多个子块,训练一次即可抽出数百个可用的小模型。

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 3 人首次 2023-10-17 · 最近 2026-06-28发表于 neural information processing systems
3不同的人
3活跃月份
3讨论串
9被引(OpenAlex)

基础模型要在从大型集群到手机的不同推理约束下部署,但训练成本限制了可提供的模型尺寸种类。MatFormer 在标准 Transformer 中引入嵌套的前馈网络(FFN)块结构,训练时同时优化多个不同大小的嵌套 FFN 块,无需额外训练成本即可抽出数百个准确的小模型。实验在解码器和编码器、语言和视觉上验证:850M 的 MatLM 可抽出 582M 到 850M 的多个子模型,其验证损失和单样本下游评测优于独立训练的同规模模型;MatViT 抽出的小编码器保留度量空间结构,适用于自适应大规模检索;子模型还可用于推测解码以显著降低延迟。

HN 为什么提它

评论者指出某个名称不太贴切的叫法其实指向这篇论文,并提到 Gemma 模型已采用 MatFormer 架构以实现动态计算。

方法难度 4 / 5约 45 分钟经得起时间
读之前最好知道
1Transformer 前馈网络(FFN)结构
2嵌套结构与弹性推理
3推测解码(speculative decoding)
4模型规模与推理开销权衡

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用andy12_ · 2025-05

“I think that it's a poorly named reference to this paper [1] that they mention in the blogpost.”

认为博客里提到的那个命名不当的东西指的就是这篇嵌套 Transformer 论文
Gemma 3n preview: Mobile-first AI原评论 ↗
引用janalsncm · 2026-06

“They also shipped Gemma models with their new Matformer architecture which allows for dynamic computation.”

指出 Gemma 采用了这种 MatFormer 架构,支持动态计算
DeepSeek open-sources inference optimizations with 60–85% faster generation [pdf]原评论 ↗
被提交为 story · 1 次