按年被提到
20212021 · 3 次2026
机器学习与深度学习›深度学习理论与泛化·arXiv:2105.04026 · cs.LG

The Modern Mathematics of Deep Learning

深度学习的现代数学
Julius Berner, Philipp Grohs, Gitta Kutyniok, Philipp Petersen · 2021

综述深度学习数学分析领域及其主要未解问题与已有进展

开始阅读 ↗PDFalphaXiv 讨论
被推荐 · 5 人首次 2021-05-12 · 最近 2023-06-16
5不同的人
4活跃月份
5讨论串
144被引(OpenAlex)

综述正在形成的深度学习数学分析领域,围绕经典学习理论解释不了的问题展开:过参数化网络的泛化、深度的作用、为何似乎没有维数灾难、非凸优化为何有效、网络学到什么特征等。对这些问题梳理现有的部分解答,并对选定方法详细讲解其主要思想。

HN 为什么提它

有人在谈深度学习理论时推荐它,认为它是不过度简化该领域的理论入门材料。

综述难度 5 / 5约 240 分钟经得起时间
读之前最好知道
1统计学习理论(泛化界)
2泛函分析与逼近论基础
3优化理论(非凸优化)
4神经网络基础
5概率论

学习路径

读这篇之前,按顺序读书架上的 7 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

这条路径帮我建立深度学习理论的几条主线:损失曲面与优化、泛化之谜与双下降、无限宽极限(GP 与 NTK),以及稀疏子网络,然后读这篇综述如何把它们串起来。

  1. 1
    The Loss Surfaces of Multilayer Networks多层网络的损失曲面 · 2014

    从统计物理角度讨论大网络损失曲面,是理解深度学习优化为何成功的早期理论。

    读抓局部极小值集中在较低损失带的结论;推导可只看结论。

  2. 2

    指出高维非凸优化的难点主要是鞍点,对应综述里关于优化的部分。

    读抓高维空间中鞍点占主导的论点,以及 Hessian 特征值的作用。

  3. 3
    Understanding deep learning requires rethinking generalization理解深度学习需要重新思考泛化 · 2016

    大网络能拟合随机标签,传统泛化理论无法解释,这是综述所列核心问题之一。

    读抓随机标签实验与它对 VC 维、Rademacher 复杂度类解释的挑战。

  4. 4
    Reconciling modern machine learning practice and the bias-variance trade-off调和现代机器学习实践与偏差-方差权衡 · 2018

    双下降曲线把经典偏差-方差权衡与过参数化现象联系起来,对应综述里的泛化部分。

    读抓双下降曲线的形状与插值阈值附近的现象。

  5. 5
    Deep Neural Networks as Gaussian Processes深度神经网络即高斯过程 · 2017

    无限宽网络等价于高斯过程,是综述讨论宽度极限的基础。

    读抓无限宽极限下的核及其与贝叶斯预测的关系。

  6. 6
    Neural Tangent Kernel: Convergence and Generalization in Neural Networks神经正切核:神经网络的收敛与泛化 · 2018

    NTK 说明无限宽网络的梯度下降训练等价于核回归,是理论分析优化和泛化的重要工具。

    读抓 NTK 的定义,以及训练过程中核保持不变的结论。

  7. 7
    The Lottery Ticket Hypothesis: Finding Sparse, Trainable Neural Networks彩票假设:寻找稀疏且可训练的神经网络 · 2018

    彩票假设涉及稀疏可训练子网络,对应综述中关于网络结构与剪枝的讨论。

    读抓迭代剪枝找到中奖子网络并用原始初始化重训的流程。

  8. 8
    The Modern Mathematics of Deep Learning深度学习的现代数学 · 2021 · 就是这篇

    目标论文:综述深度学习数学分析的主要问题与进展。

    读先看引言中列出的几个核心问题,再按兴趣读泛化、优化、表达能力等章节。

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
推荐sinenomine · 2023-01

“If someone were to be inclined to theory, I'd just recommend reading papers that don't try oversimplify the domain:”

推荐,认为想学理论应读不过度简化的论文
Ask HN: What are the foundational texts for learning about AI/ML/NN?原评论 ↗
被提交为 story · 4 次