按年被提到
20172017 · 2 次2026
机器学习与深度学习›深度学习理论与泛化·arXiv:1705.05502 · cs.LG

The power of deeper networks for expressing natural functions

更深的网络在表达自然函数上的优势
David Rolnick, Max Tegmark · 2017

证明深层网络表达多元多项式所需神经元远少于单隐层网络

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 3 人首次 2017-05-20 · 最近 2019-02-05
3不同的人
3活跃月份
3讨论串
122被引(OpenAlex)

论文证明:逼近 n 个变量的某些自然多元多项式类时,深层网络所需神经元总数只随 n 线性增长,而只允许单个隐层时则呈指数增长。作者还给出证据表明,当隐层数从 1 增加到 k,所需神经元数随 n^(1/k) 指数增长,意味着实际可表达所需的最少层数大致只随问题规模按对数增长。

HN 为什么提它

输入里没有保留评论摘录,只知道 2017–2019 年间有 3 个不同的人提到它,大概是在讨论深度网络为何比浅层网络表达力更强,具体语境不详。

其他难度 4 / 5约 45 分钟经得起时间
读之前最好知道
1通用近似定理(universal approximation theorem)
2多元多项式
3神经网络基础
4渐近复杂度分析

学习路径

读这篇之前,按顺序读书架上的 4 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

候选都是实证上证明深度有用的网络论文,读它们可以先建立深层网络在实践中为何更强的直觉,再来看目标论文给出的表达能力理论解释。

  1. 1
    Very Deep Convolutional Networks for Large-Scale Image Recognition面向大规模图像识别的极深卷积网络 · 2014

    它用实验验证了增加深度带来的精度提升,是目标论文试图解释的现象之一。

    读深度从 11 层增加到 19 层的对比实验;抓住深度本身起作用这一实证结论。

  2. 2
    Going Deeper with Convolutions用卷积走得更深 · 2014

    它是同一时期用更深网络取得突破的例子,提供更多深度有益的实证背景。

    读22 层网络的整体设计思路,不必深究 Inception 模块的细节。

  3. 3
    Highway NetworksHighway Networks · 2015

    它关注极深网络的训练难题,说明深度并非白给,需要训练方法配合。

    读门控连接如何让上百层的网络能训练;作为对深度训练可行性的背景。

  4. 4
    Deep Residual Learning for Image Recognition用于图像识别的深度残差学习 · 2015

    它把深度推到上百层,是当时深度越深越好的代表性证据。

    读残差学习如何解决深度退化,以及 ImageNet 上随深度提升的结果。

  5. 5
    The power of deeper networks for expressing natural functions更深的网络在表达自然函数上的优势 · 2017 · 就是这篇

    读完实证背景后,再看目标论文在理论上解释为什么深层网络更省神经元。

    读多项式近似所需神经元数量:深层网络随变量数线性增长,单隐层指数增长;以及从 1 层到 k 层的 n 的 1/k 次方结论。

HN 书评

没有评论直接链到它;下面是它被提交的讨论串里回复最多的评论(不计入统计)

讨论串里没有 ≥100 字的评论,只有提交记录。

被提交为 story · 3 次