按年被提到
20212021 · 4 次2026
机器学习与深度学习›深度学习理论与泛化·arXiv:2106.10165 · cs.LG

The Principles of Deep Learning Theory

深度学习理论原理
Daniel A. Roberts, Sho Yaida, Boris Hanin · 2021

用物理学的有效理论与重整化群思路,从第一性原理分析深度网络

开始阅读 ↗PDFalphaXiv 讨论
被推荐 · 10 人首次 2021-06-21 · 最近 2026-02-23
10不同的人
8活跃月份
10讨论串
250被引(OpenAlex)

本书发展一种有效理论方法来理解实用的深度神经网络:从组件层面的第一性原理出发,通过求解逐层迭代方程和非线性学习动力学描述训练后网络的输出。主要结果是网络预测近似服从高斯分布,其与无限宽度高斯描述的偏差由深宽比控制。作者引入表示群流(RG flow)刻画信号在网络中的传播,通过把网络调到临界点给出梯度爆炸与消失的实用解法,并说明深宽比决定训练后网络集合的有效模型复杂度。

HN 为什么提它

HN 上的人把它当作想为深度学习建立类似物理理论的严谨专著来推荐,提到它基于量子场论式的数学工具和重整化思想,并说明它不是入门读物。

奠基之作难度 5 / 5约 1200 分钟经得起时间
读之前最好知道
1深度学习基础与反向传播
2无限宽度网络与神经正切核(NTK)
3统计物理与重整化群(renormalization group)
4概率论与高斯分布的微扰展开

学习路径

读这篇之前,按顺序读书架上的 6 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

围绕无限宽极限的核心理论:初始化、泛化之谜、临界性、神经网络与高斯过程以及 NTK,再读这本书如何对有限宽度做修正。

  1. 1
    Understanding deep learning requires rethinking generalization理解深度学习需要重新思考泛化 · 2016

    提出了传统泛化理论解释不了的现象,也是本书想从理论上回应的动机之一。

    读随机标签实验与结论。

  2. 2
    Delving Deep into Rectifiers: Surpassing Human-Level Performance on ImageNet Classification深入研究整流器:在 ImageNet 分类上超越人类水平 · 2015

    He 初始化是本书讨论初始化与信号传播时的基本对象。

    读初始化方差如何保持前向信号尺度。

  3. 3

    通过瞬态混沌分析深度网络表达力,是本书所讨论的临界性与深度的前期工作。

    读平均场分析的思想与有序 / 混沌相的概念。

  4. 4
    Deep Neural Networks as Gaussian Processes深度神经网络即高斯过程 · 2017

    证明无限宽网络等价于高斯过程,是本书的出发点(无限宽高斯描述)。

    读逐层推导核递推的做法与结论。

  5. 5
    Neural Tangent Kernel: Convergence and Generalization in Neural Networks神经正切核:神经网络的收敛与泛化 · 2018

    NTK 描述无限宽网络的训练动力学,本书在此基础上做有限宽度修正。

    读核在训练中保持不变的结论与函数空间视角。

  6. 6

    证明宽网络在梯度下降下近似线性模型,和 NTK 一起构成无限宽训练理论。

    读线性化模型与实际网络的对比结论。

  7. 7
    The Principles of Deep Learning Theory深度学习理论原理 · 2021 · 就是这篇

    目标论文:在无限宽高斯描述之上,以深宽比为参数修正出近似高斯的有效理论。

    读先读前几章的层间递推与高斯分布,再看有限宽度修正(4 点函数)与表示学习的讨论。

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
推荐r-zip · 2021-10

“I'd recommend anyone interested in the NTK and its limitations to check out Greg Yang's work [1] and the recent book by Roberts, Yaida, and Hanin [2].”

推荐想了解 NTK 及其局限的人看 Greg Yang 的工作和这本书
A new link to an old model could crack the mystery of deep learning原评论 ↗
推荐ly3xqhl8g9 · 2023-01

“Somewhat foundational, if not in actuality, then in the intention to actually build a theory as in theory of gravitation, although not necessarily an introductory text:”

推荐,称它志在建立类似引力理论的深度学习理论,但并非入门读物
Ask HN: What are the foundational texts for learning about AI/ML/NN?原评论 ↗
推荐quantum_mcts · 2023-01

“has a rather rigorous (based on Quantum Field Theory (QFT) mathematical apparatus) analysis of modern deep learning”

推荐,称它用 QFT 数学工具对现代深度学习做了相当严谨的分析
Critical brain hypothesis: A physical theory for when the brain performs best原评论 ↗
引用mdp2021 · 2022-04

“-- book: The Principles of Deep Learning Theory”

贴出这本深度学习理论书的正确链接
The Mathematics of Artificial Intelligence (2022)原评论 ↗
引用adamnemecek · 2023-11

“There is some yeah, there is a recent book on deep learning via renormalization The Principles of Deep Learning Theory.”

指出有一本最近的书用重整化来讲深度学习
Understanding Deep Learning原评论 ↗
被提交为 story · 5 次