按年被提到
20172017 · 2 次2026
The power of deeper networks for expressing natural functions
更深的网络在表达自然函数上的优势
David Rolnick, Max Tegmark · 2017
证明深层网络表达多元多项式所需神经元远少于单隐层网络
被提及 · 3 人首次 2017-05-20 · 最近 2019-02-05
3不同的人
3活跃月份
3讨论串
122被引(OpenAlex)
论文证明:逼近 n 个变量的某些自然多元多项式类时,深层网络所需神经元总数只随 n 线性增长,而只允许单个隐层时则呈指数增长。作者还给出证据表明,当隐层数从 1 增加到 k,所需神经元数随 n^(1/k) 指数增长,意味着实际可表达所需的最少层数大致只随问题规模按对数增长。
HN 为什么提它
输入里没有保留评论摘录,只知道 2017–2019 年间有 3 个不同的人提到它,大概是在讨论深度网络为何比浅层网络表达力更强,具体语境不详。
其他难度 4 / 5约 45 分钟经得起时间
读之前最好知道
1通用近似定理(universal approximation theorem)
2多元多项式
3神经网络基础
4渐近复杂度分析
学习路径
读这篇之前,按顺序读书架上的 4 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出候选都是实证上证明深度有用的网络论文,读它们可以先建立深层网络在实践中为何更强的直觉,再来看目标论文给出的表达能力理论解释。
- 1
它用实验验证了增加深度带来的精度提升,是目标论文试图解释的现象之一。
读深度从 11 层增加到 19 层的对比实验;抓住深度本身起作用这一实证结论。
- 2
- 3
- 4
它把深度推到上百层,是当时深度越深越好的代表性证据。
读残差学习如何解决深度退化,以及 ImageNet 上随深度提升的结果。
- 5The power of deeper networks for expressing natural functions
读完实证背景后,再看目标论文在理论上解释为什么深层网络更省神经元。
读多项式近似所需神经元数量:深层网络随变量数线性增长,单隐层指数增长;以及从 1 层到 k 层的 n 的 1/k 次方结论。
HN 书评
没有评论直接链到它;下面是它被提交的讨论串里回复最多的评论(不计入统计)讨论串里没有 ≥100 字的评论,只有提交记录。
被提交为 story · 3 次
- The power of deeper networks for expressing natural functions ↗inlineint · 2017-05-20 · 1 分
- The power of deeper networks for expressing natural functions ↗scentoni · 2017-08-17 · 3 分
- The power of deeper networks for expressing natural functions (2018) ↗headalgorithm · 2019-02-05 · 2 分