“Cool I guess but not really surprising given previous work on mode connectivity ((1) and related)”
Loss Surfaces, Mode Connectivity, and Fast Ensembling of DNNs
训练出的网络最优解之间存在精度几乎不变的简单曲线通路。
发现深度网络损失函数的不同最优解之间可以用简单曲线相连,沿曲线训练和测试精度几乎不变,并给出寻找这类高精度通路的训练方法。受这一几何洞察启发,提出快速几何集成(Fast Geometric Ensembling, FGE),能在训练单个模型所需的时间内得到高性能集成,在 CIFAR-10、CIFAR-100 和 ImageNet 上优于 Snapshot Ensembles。
评论者把它当作“训练得到的解之间存在低损失路径(模式连通性)”的出处,用来说明新结果并不意外,也用来解释为何模型可以合并。
学习路径
读这篇之前,按顺序读书架上的 6 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出这条路径帮你建立损失曲面几何的前置知识:局部极小与鞍点的讨论、沿直线路径的优化行为、尖锐与平坦极小,以及可视化和权重平均,再读模式连通性与快速集成。
- 1
- 2
沿初始点到解的直线路径研究优化,是研究极小值之间路径的早期实验。
读线性插值路径上损失如何变化的实验设计。
- 3
讨论尖锐极小值也可能泛化,关系到如何理解极小值之间的路径与参数空间的几何。
读参数重新缩放下尖锐度的不唯一性;对平坦极小值假说的挑战。
- 4
提供损失曲面可视化的方法,目标论文也沿用了二维切面可视化。
读滤波器归一化的可视化方法,以及结构、批大小对曲面的影响。
- 5
同一团队的相关工作,沿训练轨迹平均权重,思路与快速几何集成相近。
读周期性学习率下沿轨迹采样并平均权重的做法,以及对更宽极小值的解释。
- 6
- 7Loss Surfaces, Mode Connectivity, and Fast Ensembling of DNNs
目标论文:发现极小值之间存在精度几乎不变的简单曲线,并据此提出快速几何集成。
读曲线(多段折线、Bezier)的训练方法、模式连通性的实验,以及 FGE 的做法。
HN 书评
推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及“1) Loss Surfaces, Mode Connectivity, and Fast Ensembling of DNNs Loss Surfaces, Mode Connectivity, and Fast Ensembling of DNNs”
“I think this paper first showed that to me: Loss Surfaces, Mode Connectivity, and Fast Ensembling of DNNs which was 8 years ago now.”