“I think they have some of the most interesting theories, at the moment, about why Deep Learning works.”
按年被提到
20172017 · 4 次2026
Emergence of Invariance and Disentanglement in Deep Representations
深度表示中不变性与解耦的涌现
Alessandro Achille, Stefano Soatto · 2017
证明深层表示的不变性等价于信息最小化,并提出权重信息瓶颈
被推荐 · 4 人首次 2017-06-16 · 最近 2018-01-07
4不同的人
5活跃月份
5讨论串
300被引(OpenAlex)
借助统计学和信息论原理,证明深度网络对干扰因素的不变性等价于所学表示的信息最小性,且叠加层数和训练中注入噪声会自然偏向不变表示。进一步分解交叉熵损失、指出其中固有的过拟合项,提出以权重中的信息为复杂度度量的正则化,并预测欠拟合与过拟合之间的相变。
HN 为什么提它
评论者称它属于关于“深度学习为何有效”最有意思的理论之一,也用它举例说明读懂这类论文需要较深的数学基础。
方法难度 5 / 5约 70 分钟经得起时间
读之前最好知道
1信息论(互信息、KL 散度)
2信息瓶颈(information bottleneck)
3PAC-Bayes 理论
4深度网络的泛化与过拟合
学习路径
读这篇之前,按顺序读书架上的 5 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出这条路径先看变分推断中的 KL 项与重参数化,再看深度学习的信息瓶颈理论,以及泛化之谜的实证,最后读目标论文如何把不变性与信息最小化联系起来。
- 1
- 2
最早把信息瓶颈原理用于深度网络,目标论文在此基础上展开。
读信息瓶颈目标:压缩输入同时保留与标签相关的信息,以及各层的互信息。
- 3
提出训练中有压缩阶段的观察,目标论文从理论上回应这一类说法。
读信息平面和训练的两个阶段;理解它的观察与争议即可。
- 4
说明大网络能拟合随机标签,这是目标论文要解释的过拟合项的背景。
读随机标签实验及其对传统泛化理论的挑战。
- 5
- 6Emergence of Invariance and Disentanglement in Deep Representations
目标论文:证明不变性等价于表示的信息最小,并提出权重信息瓶颈。
读不变性与信息最小的关系,交叉熵分解出的过拟合项,以及用 KL 项约束它的方法。
HN 书评
推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及推荐AlexCoventry · 2017-11
推荐 Soatto 团队的工作,认为是目前关于深度学习为何有效的最有趣理论之一
引用backpropaganda · 2017-08
“The kind of math that would be necessary to understand papers like [1][2][3][4].”
把它列为需要相应数学基础才能读懂的论文之一
引用AlexCoventry · 2017-12
“Emergence of Invariance and Disentangling in Deep Representations”
列出这篇论文:深度表示中的不变性等同于信息最小性
被提交为 story · 2 次
- On the Emergence of Invariance and Disentangling in Deep Representations ↗blacksmythe · 2017-06-16 · 3 分
- Emergence of Invariance and Disentangling in Deep Representations ↗sarosh · 2018-01-07 · 3 分