按年被提到
20172017 · 4 次2026
机器学习与深度学习›深度学习理论与泛化·arXiv:1710.05468 · stat.ML

Generalization in Deep Learning

深度学习中的泛化
Kenji Kawaguchi, Leslie Pack Kaelbling, Yoshua Bengio · 2017

从理论上解释深度网络为何能泛化,并讨论非空泛的泛化保证

开始阅读 ↗PDFalphaXiv 讨论
被推荐 · 5 人首次 2017-10-17 · 最近 2021-06-30
5不同的人
5活跃月份
6讨论串
265被引(OpenAlex)

论文针对文献中的一个开放问题,提供理论洞见,解释深度学习为何以及如何能很好地泛化,尽管它有很大的容量、复杂性、可能的算法不稳定性、不鲁棒性和尖锐极小值。文章还讨论如何为深度学习给出非空泛(non-vacuous)的泛化保证,基于理论观察提出新的开放问题,并讨论结果的局限性。

HN 为什么提它

HN 上的人在讨论大网络为何不会因记忆而过拟合时推荐它,称它由 Bengio 参与撰写、用 MNIST 做例子,大家都能看懂,是泛化理论的基础材料。

奠基之作难度 4 / 5约 60 分钟经得起时间
读之前最好知道
1统计学习理论(VC 维、Rademacher 复杂度)
2深度神经网络训练
3泛化误差与过拟合
4尖锐与平坦极小值

学习路径

读这篇之前,按顺序读书架上的 4 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

先看损失曲面和尖锐极小值的已有讨论,再看随机标签实验带来的挑战,最后读目标论文对泛化的理论回应。

  1. 1
    The Loss Surfaces of Multilayer Networks多层网络的损失曲面 · 2014

    它讨论大网络损失曲面的局部极小值性质,是理解深度网络优化与泛化的背景。

    读局部极小值的损失值随网络规模集中的结论,不必深究自旋玻璃模型的推导。

  2. 2
    Understanding deep learning requires rethinking generalization理解深度学习需要重新思考泛化 · 2016

    它提出的随机标签实验指出传统泛化理论解释不了深度网络,这正是目标论文要回应的问题。

    读随机标签拟合实验与显式正则化的作用,理解为何容量度量失效。

  3. 3
    On Large-Batch Training for Deep Learning: Generalization Gap and Sharp Minima关于深度学习的大批量训练:泛化差距与尖锐极小值 · 2016

    它把大批量训练的泛化差距归因于尖锐极小值,是目标论文讨论的一个主要观点。

    读尖锐极小值的度量与大批量训练的对比实验。

  4. 4

    它反驳尖锐极小值必然导致泛化差,目标论文在同一问题上继续推进。

    读重参数化使平坦度度量改变的论证。

  5. 5
    Generalization in Deep Learning深度学习中的泛化 · 2017 · 就是这篇

    在这些争论的背景下,看作者如何给出泛化的理论解释和非空泛保证的思路。

    读泛化差距与数据依赖、测试集验证的角色,以及提出的开放问题。

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
推荐nl · 2017-10

“The completely awesome 2017 "Generalization in Deep Learning" paper[1] was co-authored by Bengio and uses MNIST - because everyone can follow it.”

盛赞这篇 Bengio 合著的论文,用 MNIST 让人人都能读懂
RCN is much more data efficient than traditional Deep Neural Networks原评论 ↗
推荐aoeusnth1 · 2017-12

“Generalization in Deep Learning was an interesting paper that came out recently.”

推荐这篇近期有趣的论文
Mathematics of Deep Learning [pdf]原评论 ↗
引用nl · 2017-11

“Take for example: Generalization in Deep Learning[1] which gives a theoretical grounding of generalization.”

举它为给泛化提供理论基础的例子
Software 2.0原评论 ↗
引用rademacher · 2021-04

“I haven't read this paper yet so I can't speak to it's quality but it appears to be addressing the same questions in this post.”

自称没读过,但认为它在讨论同样的问题
Are deep neural networks dramatically overfitted? (2019)原评论 ↗
引用gradys · 2021-06

“generalization is the key interesting result in deep learning, leading to papers like this one”

把它作为深度学习泛化研究的例子
GitHub Copilot as open source code laundering?原评论 ↗
被提交为 story · 1 次