按年被提到
20172017 · 4 次2026
机器学习与深度学习›深度学习理论与泛化·arXiv:1706.01350 · cs.LG

Emergence of Invariance and Disentanglement in Deep Representations

深度表示中不变性与解耦的涌现
Alessandro Achille, Stefano Soatto · 2017

证明深层表示的不变性等价于信息最小化,并提出权重信息瓶颈

开始阅读 ↗PDFalphaXiv 讨论
被推荐 · 4 人首次 2017-06-16 · 最近 2018-01-07
4不同的人
5活跃月份
5讨论串
300被引(OpenAlex)

借助统计学和信息论原理,证明深度网络对干扰因素的不变性等价于所学表示的信息最小性,且叠加层数和训练中注入噪声会自然偏向不变表示。进一步分解交叉熵损失、指出其中固有的过拟合项,提出以权重中的信息为复杂度度量的正则化,并预测欠拟合与过拟合之间的相变。

HN 为什么提它

评论者称它属于关于“深度学习为何有效”最有意思的理论之一,也用它举例说明读懂这类论文需要较深的数学基础。

方法难度 5 / 5约 70 分钟经得起时间
读之前最好知道
1信息论(互信息、KL 散度)
2信息瓶颈(information bottleneck)
3PAC-Bayes 理论
4深度网络的泛化与过拟合

学习路径

读这篇之前,按顺序读书架上的 5 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

这条路径先看变分推断中的 KL 项与重参数化,再看深度学习的信息瓶颈理论,以及泛化之谜的实证,最后读目标论文如何把不变性与信息最小化联系起来。

  1. 1
    Auto-Encoding Variational Bayes自编码变分贝叶斯 · 2013

    目标论文的权重信息瓶颈用到 KL 项和重参数化的思想。

    读变分下界中 KL 项的含义和重参数化技巧。

  2. 2
    Deep Learning and the Information Bottleneck Principle深度学习与信息瓶颈原理 · 2015

    最早把信息瓶颈原理用于深度网络,目标论文在此基础上展开。

    读信息瓶颈目标:压缩输入同时保留与标签相关的信息,以及各层的互信息。

  3. 3
    Opening the Black Box of Deep Neural Networks via Information通过信息论打开深度神经网络的黑箱 · 2017

    提出训练中有压缩阶段的观察,目标论文从理论上回应这一类说法。

    读信息平面和训练的两个阶段;理解它的观察与争议即可。

  4. 4
    Understanding deep learning requires rethinking generalization理解深度学习需要重新思考泛化 · 2016

    说明大网络能拟合随机标签,这是目标论文要解释的过拟合项的背景。

    读随机标签实验及其对传统泛化理论的挑战。

  5. 5

    关于平坦极小值与泛化关系的讨论,与目标论文对泛化的分析相关。

    读尖锐极小值也能泛化的论点,以及对重参数化敏感的问题。

  6. 6
    Emergence of Invariance and Disentanglement in Deep Representations深度表示中不变性与解耦的涌现 · 2017 · 就是这篇

    目标论文:证明不变性等价于表示的信息最小,并提出权重信息瓶颈。

    读不变性与信息最小的关系,交叉熵分解出的过拟合项,以及用 KL 项约束它的方法。

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
推荐AlexCoventry · 2017-11

“I think they have some of the most interesting theories, at the moment, about why Deep Learning works.”

推荐 Soatto 团队的工作,认为是目前关于深度学习为何有效的最有趣理论之一
Stanford Stats 385: Theories of Deep Learning原评论 ↗
引用backpropaganda · 2017-08

“The kind of math that would be necessary to understand papers like [1][2][3][4].”

把它列为需要相应数学基础才能读懂的论文之一
Do I really have to cite an arXiv paper?原评论 ↗
引用AlexCoventry · 2017-12

“Emergence of Invariance and Disentangling in Deep Representations”

列出这篇论文:深度表示中的不变性等同于信息最小性
Ask HN: What was the best CS paper you read in 2017?原评论 ↗
被提交为 story · 2 次