按年被提到
20262026 · 4 次2026
大模型与语言模型›混合专家与高效训练·arXiv:2603.15031 · cs.CL

Attention Residuals

Attention Residuals:对残差连接做注意力
Kimi Team, Guangyu Chen, Yu Zhang, Jianlin Su, Weixin Xu, Siyuan Pan, Yaoyu Wang, Yucheng Wang, Guanduo Chen, Bohong Yin, Yutian Chen, Junjie Yan 等 37 人 · 2026

用对前面各层输出的 softmax 注意力取代固定权重的残差累加

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 4 人首次 2026-03-17 · 最近 2026-06-09
4不同的人
3活跃月份
4讨论串
5被引(OpenAlex)

论文指出现代 LLM 里带 PreNorm 的残差连接以固定的单位权重累加所有层输出,导致隐状态随深度不受控地增长、逐层稀释各层贡献。作者提出 Attention Residuals(AttnRes),改用对前面各层输出的 softmax 注意力,让每层以学到的、依赖输入的权重选择性聚合早期表示;为降低显存与通信开销,又提出把层分块的 Block AttnRes,并配合基于缓存的流水线通信和两阶段计算。缩放定律实验显示各模型规模上提升一致;集成到 Kimi Linear(48B 总 / 3B 激活)并预训练 1.4T token 后,输出幅值与梯度分布更均匀,所有评测任务都有提升。

HN 为什么提它

mentions 中没有可引用的评论原话,只能确定它在不同月份被多人提到,原因无法据此判断。

方法难度 4 / 5约 45 分钟经得起时间
读之前最好知道
1残差连接与 PreNorm
2Transformer 架构
3注意力机制(softmax attention)
4缩放定律实验
5流水线并行训练

HN 书评

没有评论直接链到它;下面是它被提交的讨论串里回复最多的评论(不计入统计)
讨论串评论djhemath · 2026-04

“This paper by the Kimi team allows us to add more depth to the model without losing information/context. Although it increases efficiency by just over 1%, the total savings could reach millions. Or at least, it would allow us to build models with more layers for the same cost as today.”

Attention Residuals原评论 ↗
被提交为 story · 4 次