按年被提到
20252025 · 4 次2026
大模型与语言模型›混合专家与高效训练·arXiv:2502.05795 · cs.LG

The Curse of Depth in Large Language Models

大语言模型中的深度诅咒
Wenfang Sun, Xinyuan Song, Pengxiang Li, Lu Yin, Yefeng Zheng, Shiwei Liu · 2025

Pre-LN让深层近乎恒等,LayerNorm Scaling缓解之

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 5 人首次 2025-02-11 · 最近 2026-03-10
5不同的人
3活跃月份
5讨论串
—被引(OpenAlex)

论文提出“深度诅咒”:Llama、Mistral、DeepSeek、Qwen 等主流大模型中近一半的层不如预期有效。作者从理论和实验上认为原因是广泛使用的 Pre-Layer Normalization:它稳定了训练,但输出方差随深度指数增长,使深层 Transformer 块的导数近似单位矩阵,几乎不参与训练。为此提出 LayerNorm Scaling(LNS),把层归一化输出的方差按深度平方根的倒数缩放;在 130M 到 7B 的模型上,LNS 持续优于已有的归一化与缩放技术,并能延续到监督微调。

HN 为什么提它

HN 评论者引它来解释为什么 Pre-LN 会让深层 Transformer 趋向恒等函数,因此真正的计算集中在中间层。

方法难度 4 / 5约 35 分钟经得起时间
读之前最好知道
1Transformer 与残差连接
2Pre-LN 与 Post-LN 层归一化
3梯度与方差传播分析
4大语言模型预训练

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用imranq · 2026-03

“explains why this works: Pre-LN causes deep transformer layers to converge toward identity functions”

解释为何有效:Pre-LN 使深层趋近恒等函数,中间层才真正计算
Show HN: How I Topped the HuggingFace Open LLM Leaderboard on Two Gaming GPUs原评论 ↗
被提交为 story · 4 次