按年被提到
20172017 · 6 次2026
机器学习与深度学习›深度学习理论与泛化·arXiv:1703.00810 · cs.LG

Opening the Black Box of Deep Neural Networks via Information

通过信息论打开深度神经网络的黑箱
Ravid Shwartz-Ziv, Naftali Tishby · 2017

用信息平面和信息瓶颈理论观察深度网络训练中的压缩阶段

开始阅读 ↗PDFalphaXiv 讨论
被推荐 · 7 人首次 2017-03-22 · 最近 2021-06-12
7不同的人
5活跃月份
7讨论串
1,021被引(OpenAlex)

论文沿用此前的想法,在“信息平面”(各层保留的输入与输出互信息)中可视化深度神经网络,并认为网络逐层在压缩与预测之间优化信息瓶颈(IB)权衡。作者报告:标准训练的大部分 epoch 花在对输入的压缩而非拟合标签上;压缩阶段始于训练误差变小、SGD 由快速漂移转入随机扩散时;收敛后的层位于或接近 IB 理论界;增加隐藏层可大幅缩短训练时间,因此隐藏层的主要优势是计算性的。

HN 为什么提它

HN 上的人把它当作为深度学习寻找理论基础的一种信息论尝试来推荐,并引用它关于单个神经元信息有限的预测。

观点难度 4 / 5约 45 分钟经得起时间
读之前最好知道
1互信息(mutual information)
2信息瓶颈(information bottleneck)
3深度神经网络与 SGD
4信息论基础

学习路径

读这篇之前,按顺序读书架上的 3 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

这条路径帮你先理解信息瓶颈理论对深度网络的分析以及泛化的困惑,再读信息平面下训练过程的观察。

  1. 1
    An exact mapping between the Variational Renormalization Group and Deep Learning变分重整化群与深度学习之间的精确映射 · 2014

    把深度学习与重整化群联系起来,是用物理与信息视角理解深度网络的背景。

    读变分重整化群与 RBM 深度学习的对应;只需把握核心类比。

  2. 2
    Deep Learning and the Information Bottleneck Principle深度学习与信息瓶颈原理 · 2015

    最早用信息瓶颈原理分析深度网络各层互信息,是目标论文的理论基础。

    读信息瓶颈的定义、各层互信息与泛化界。

  3. 3
    Understanding deep learning requires rethinking generalization理解深度学习需要重新思考泛化 · 2016

    说明传统泛化理论不够解释深度网络,是这类理论探索的动机。

    读随机标签实验与结论。

  4. 4
    Opening the Black Box of Deep Neural Networks via Information通过信息论打开深度神经网络的黑箱 · 2017 · 就是这篇

    在信息平面上观察训练中的拟合与压缩阶段,检验信息瓶颈的解释。

    读信息平面的构造和训练动态;压缩阶段的观察。

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
推荐jhrmnn · 2021-06

“There are a few works that try to put deep learning on some theoretical basis, I like this one, for example:”

推荐它作为给深度学习找理论基础的尝试之一
The Modern Mathematics of Deep Learning原评论 ↗
引用pinouchon · 2017-11

“This is one of the predictions of the following paper, even though I think it came later: Opening the Black Box of Deep Neural Networks via Information.”

指出该论文也预测了同一层内单个神经元信息有限
Feature Visualization: How neural nets build up their understanding of images原评论 ↗
被提交为 story · 5 次