“If someone were to be inclined to theory, I'd just recommend reading papers that don't try oversimplify the domain:”
按年被提到
20212021 · 3 次2026
The Modern Mathematics of Deep Learning
深度学习的现代数学
Julius Berner, Philipp Grohs, Gitta Kutyniok, Philipp Petersen · 2021
综述深度学习数学分析领域及其主要未解问题与已有进展
被推荐 · 5 人首次 2021-05-12 · 最近 2023-06-16
5不同的人
4活跃月份
5讨论串
144被引(OpenAlex)
综述正在形成的深度学习数学分析领域,围绕经典学习理论解释不了的问题展开:过参数化网络的泛化、深度的作用、为何似乎没有维数灾难、非凸优化为何有效、网络学到什么特征等。对这些问题梳理现有的部分解答,并对选定方法详细讲解其主要思想。
HN 为什么提它
有人在谈深度学习理论时推荐它,认为它是不过度简化该领域的理论入门材料。
综述难度 5 / 5约 240 分钟经得起时间
读之前最好知道
1统计学习理论(泛化界)
2泛函分析与逼近论基础
3优化理论(非凸优化)
4神经网络基础
5概率论
学习路径
读这篇之前,按顺序读书架上的 7 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出这条路径帮我建立深度学习理论的几条主线:损失曲面与优化、泛化之谜与双下降、无限宽极限(GP 与 NTK),以及稀疏子网络,然后读这篇综述如何把它们串起来。
- 1
从统计物理角度讨论大网络损失曲面,是理解深度学习优化为何成功的早期理论。
读抓局部极小值集中在较低损失带的结论;推导可只看结论。
- 2
指出高维非凸优化的难点主要是鞍点,对应综述里关于优化的部分。
读抓高维空间中鞍点占主导的论点,以及 Hessian 特征值的作用。
- 3
大网络能拟合随机标签,传统泛化理论无法解释,这是综述所列核心问题之一。
读抓随机标签实验与它对 VC 维、Rademacher 复杂度类解释的挑战。
- 4
双下降曲线把经典偏差-方差权衡与过参数化现象联系起来,对应综述里的泛化部分。
读抓双下降曲线的形状与插值阈值附近的现象。
- 5
- 6
NTK 说明无限宽网络的梯度下降训练等价于核回归,是理论分析优化和泛化的重要工具。
读抓 NTK 的定义,以及训练过程中核保持不变的结论。
- 7
彩票假设涉及稀疏可训练子网络,对应综述中关于网络结构与剪枝的讨论。
读抓迭代剪枝找到中奖子网络并用原始初始化重训的流程。
- 8The Modern Mathematics of Deep Learning
目标论文:综述深度学习数学分析的主要问题与进展。
读先看引言中列出的几个核心问题,再按兴趣读泛化、优化、表达能力等章节。
HN 书评
推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及推荐sinenomine · 2023-01
推荐,认为想学理论应读不过度简化的论文
被提交为 story · 4 次
- The modern mathematics of deep learning ↗pama · 2021-05-12 · 2 分
- The Modern Mathematics of Deep Learning ↗MAXPOOL · 2021-06-11 · 23 分
- The Modern Mathematics of Deep Learning ↗tims457 · 2021-06-12 · 276 分
- The Modern Mathematics of Deep Learning ↗Anon84 · 2023-06-16 · 2 分