“I'd recommend anyone interested in the NTK and its limitations to check out Greg Yang's work [1] and the recent book by Roberts, Yaida, and Hanin [2].”
The Principles of Deep Learning Theory
用物理学的有效理论与重整化群思路,从第一性原理分析深度网络
本书发展一种有效理论方法来理解实用的深度神经网络:从组件层面的第一性原理出发,通过求解逐层迭代方程和非线性学习动力学描述训练后网络的输出。主要结果是网络预测近似服从高斯分布,其与无限宽度高斯描述的偏差由深宽比控制。作者引入表示群流(RG flow)刻画信号在网络中的传播,通过把网络调到临界点给出梯度爆炸与消失的实用解法,并说明深宽比决定训练后网络集合的有效模型复杂度。
HN 上的人把它当作想为深度学习建立类似物理理论的严谨专著来推荐,提到它基于量子场论式的数学工具和重整化思想,并说明它不是入门读物。
学习路径
读这篇之前,按顺序读书架上的 6 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出围绕无限宽极限的核心理论:初始化、泛化之谜、临界性、神经网络与高斯过程以及 NTK,再读这本书如何对有限宽度做修正。
- 1
提出了传统泛化理论解释不了的现象,也是本书想从理论上回应的动机之一。
读随机标签实验与结论。
- 2
He 初始化是本书讨论初始化与信号传播时的基本对象。
读初始化方差如何保持前向信号尺度。
- 3
通过瞬态混沌分析深度网络表达力,是本书所讨论的临界性与深度的前期工作。
读平均场分析的思想与有序 / 混沌相的概念。
- 4
- 5
NTK 描述无限宽网络的训练动力学,本书在此基础上做有限宽度修正。
读核在训练中保持不变的结论与函数空间视角。
- 6
证明宽网络在梯度下降下近似线性模型,和 NTK 一起构成无限宽训练理论。
读线性化模型与实际网络的对比结论。
- 7The Principles of Deep Learning Theory
目标论文:在无限宽高斯描述之上,以深宽比为参数修正出近似高斯的有效理论。
读先读前几章的层间递推与高斯分布,再看有限宽度修正(4 点函数)与表示学习的讨论。
HN 书评
推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及“Somewhat foundational, if not in actuality, then in the intention to actually build a theory as in theory of gravitation, although not necessarily an introductory text:”
“has a rather rigorous (based on Quantum Field Theory (QFT) mathematical apparatus) analysis of modern deep learning”
“-- book: The Principles of Deep Learning Theory”
“There is some yeah, there is a recent book on deep learning via renormalization The Principles of Deep Learning Theory.”
- The Principles of Deep Learning Theory ↗belter · 2021-06-21 · 4 分
- The Principles of Deep Learning Theory ↗luu · 2021-07-22 · 4 分
- The Principles of Deep Learning Theory ↗pramodbiligiri · 2021-08-10 · 2 分
- The Principles of Deep Learning Theory ↗Anon84 · 2022-04-16 · 221 分
- The Principles of Deep Learning Theory (2021) ↗vinhnx · 2026-02-23 · 2 分