按年被提到
20182023 · 1 次2026
机器学习与深度学习›深度学习理论与泛化·arXiv:1802.10026 · stat.ML

Loss Surfaces, Mode Connectivity, and Fast Ensembling of DNNs

损失曲面、模式连通性与深度神经网络的快速集成
Timur Garipov, Pavel Izmailov, Dmitrii Podoprikhin, Dmitry Vetrov, Andrew Gordon Wilson · 2018

训练出的网络最优解之间存在精度几乎不变的简单曲线通路。

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 3 人首次 2023-02-23 · 最近 2026-06-14
3不同的人
3活跃月份
3讨论串
252被引(OpenAlex)

发现深度网络损失函数的不同最优解之间可以用简单曲线相连,沿曲线训练和测试精度几乎不变,并给出寻找这类高精度通路的训练方法。受这一几何洞察启发,提出快速几何集成(Fast Geometric Ensembling, FGE),能在训练单个模型所需的时间内得到高性能集成,在 CIFAR-10、CIFAR-100 和 ImageNet 上优于 Snapshot Ensembles。

HN 为什么提它

评论者把它当作“训练得到的解之间存在低损失路径(模式连通性)”的出处,用来说明新结果并不意外,也用来解释为何模型可以合并。

奠基之作难度 4 / 5约 50 分钟经得起时间
读之前最好知道
1损失曲面(loss surface)与非凸优化
2随机梯度下降(SGD)及学习率调度
3模型集成(ensembling)
4Snapshot Ensembles

学习路径

读这篇之前,按顺序读书架上的 6 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

这条路径帮你建立损失曲面几何的前置知识:局部极小与鞍点的讨论、沿直线路径的优化行为、尖锐与平坦极小,以及可视化和权重平均,再读模式连通性与快速集成。

  1. 1
    The Loss Surfaces of Multilayer Networks多层网络的损失曲面 · 2014

    较早地从理论上讨论大网络损失曲面中局部极小值的分布。

    读大网络中局部极小值质量相近的结论;留意其假设。

  2. 2
    Qualitatively characterizing neural network optimization problems定性刻画神经网络的优化问题 · 2014

    沿初始点到解的直线路径研究优化,是研究极小值之间路径的早期实验。

    读线性插值路径上损失如何变化的实验设计。

  3. 3

    讨论尖锐极小值也可能泛化,关系到如何理解极小值之间的路径与参数空间的几何。

    读参数重新缩放下尖锐度的不唯一性;对平坦极小值假说的挑战。

  4. 4
    Visualizing the Loss Landscape of Neural Nets神经网络损失曲面的可视化 · 2017

    提供损失曲面可视化的方法,目标论文也沿用了二维切面可视化。

    读滤波器归一化的可视化方法,以及结构、批大小对曲面的影响。

  5. 5

    同一团队的相关工作,沿训练轨迹平均权重,思路与快速几何集成相近。

    读周期性学习率下沿轨迹采样并平均权重的做法,以及对更宽极小值的解释。

  6. 6
    Deep Residual Learning for Image Recognition用于图像识别的深度残差学习 · 2015

    实验使用残差网络一类的现代卷积架构。

    读残差块的结构,了解实验所用网络。

  7. 7
    Loss Surfaces, Mode Connectivity, and Fast Ensembling of DNNs损失曲面、模式连通性与深度神经网络的快速集成 · 2018 · 就是这篇

    目标论文:发现极小值之间存在精度几乎不变的简单曲线,并据此提出快速几何集成。

    读曲线(多段折线、Bezier)的训练方法、模式连通性的实验,以及 FGE 的做法。

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用blackbear_ · 2023-02

“Cool I guess but not really surprising given previous work on mode connectivity ((1) and related)”

指出有 mode connectivity 的前作在先,新发现并不意外
Knowledge Is a Region in Weight Space for Fine-Tuned Language Models原评论 ↗
引用dontwearitout · 2024-06

“1) Loss Surfaces, Mode Connectivity, and Fast Ensembling of DNNs Loss Surfaces, Mode Connectivity, and Fast Ensembling of DNNs”

列出这篇论文,讲训练好的 DNN 解之间的 mode connectivity 与快速集成
Grokfast: Accelerated Grokking by Amplifying Slow Gradients原评论 ↗
引用oofbey · 2026-06

“I think this paper first showed that to me: Loss Surfaces, Mode Connectivity, and Fast Ensembling of DNNs which was 8 years ago now.”

说自己最早是从这篇论文了解到:训练出的极小值之间有低损失路径,模型可合并
Rio de Janeiro's "homegrown" LLM appears to be a merge of an existing model原评论 ↗