按年被提到
20142016 · 3 次2026
机器学习与深度学习›深度学习理论与泛化·arXiv:1412.0233 · cs.LG

The Loss Surfaces of Multilayer Networks

多层网络的损失曲面
Anna Choromanska, Mikael Henaff, Michael Mathieu, Gérard Ben Arous, Yann LeCun · 2014

用球形自旋玻璃模型解释大网络损失曲面中的局部极小值。

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 6 人首次 2015-03-23 · 最近 2019-01-28
6不同的人
7活跃月份
7讨论串
731被引(OpenAlex)

论文在变量独立、参数冗余和均匀性三个假设下,把简单全连接前馈网络的高度非凸损失函数与球形自旋玻璃模型的哈密顿量联系起来,借助随机矩阵理论的结果解释其复杂性。结果表明,大型网络损失函数的最低临界值形成分层结构,位于以全局最小值为下界的一个明确的带内,带外的局部极小值数量随网络规模呈指数减少。作者猜想模拟退火和 SGD 都收敛到这一低临界点带,带内的点是测试误差意义上高质量的局部极小值,并证明网络越大越难找到全局最小值,而全局最小值常导致过拟合,实际上无关紧要。

HN 为什么提它

评论者把它作为“为什么大网络不怕差的局部极小”的理论解释来引用,并借它把神经网络的损失曲面与自旋玻璃物理联系起来。

其他难度 5 / 5约 50 分钟经得起时间
读之前最好知道
1神经网络与非凸优化
2球形自旋玻璃模型(spin-glass)
3随机矩阵理论(random matrix theory)
4局部极小值与临界点

学习路径

读这篇之前,按顺序读书架上的 1 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

候选里只有一篇与损失曲面直接相关,先看鞍点问题的视角,再读自旋玻璃模型对局部极小值的刻画。

  1. 1

    同样研究高维非凸损失曲面,并把关注点放在鞍点而非局部极小值,与本文的临界点分析形成对照。

    读抓住高维下鞍点远多于局部极小值的论点,以及与统计物理的类比。

  2. 2
    The Loss Surfaces of Multilayer Networks多层网络的损失曲面 · 2014 · 就是这篇

    目标论文:用球形自旋玻璃模型分析大网络损失曲面的临界点结构。

    读理解三条简化假设,以及低能量局部极小值集中在狭窄区间的结论。

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用selimthegrim · 2015-03

“additional flavor: The Loss Surfaces of Multilayer Networks”

补充一篇把损失曲面理论与自旋模型联系起来的论文
Deep Learning vs. Machine Learning vs. Pattern Recognition原评论 ↗
引用deepnet · 2015-08

“the paper The Loss Surfaces of Multilayer Networks goes in depth”

指出它深入讨论了深度网络的局部极小值大多与全局极小值一样好
Machine Learning: Curse of Dimensionality原评论 ↗
引用Houshalter · 2016-02

“There's this paper which goes more into theoretical depth on the idea: The Loss Surfaces of Multilayer Networks”

推荐它对这个想法做了更深入的理论分析
AI is transforming Google search – the rest of the web is next原评论 ↗
引用Houshalter · 2016-02

“tries to establish some theory why bigger nets don't have such a big problem with local optima: The Loss Surfaces of Multilayer Networks”

引用它为更大的网络较少受局部最优困扰提供理论解释
AI is transforming Google search – the rest of the web is next原评论 ↗
引用rm999 · 2016-08

“And we actually do have a decent idea why deep learning works well:”

以它回应“我们其实已经相当清楚深度学习为何有效”
What’s Next for Artificial Intelligence原评论 ↗
引用deepnet · 2017-05

“Analogously Neural Network learning, i.e. learning modeled as a phase transition between disorder and order:”

类比神经网络学习为无序到有序的相变,并关联自旋玻璃物理
Breaking Glass in Infinite Dimensions原评论 ↗
看全部 7 条 →
引用aoki · 2017-12

“there's a small cottage industry of papers (like [0]) that try to explain this.”

指出有一批类似论文在解释为何深度网络的损失地形并不难优化
An Interview with an Anonymous Data Scientist (2016)原评论 ↗
被提交为 story · 1 次