按年被提到
20152016 · 3 次2026
机器学习与深度学习›深度学习理论与泛化·arXiv:1503.02406 · cs.LG

Deep Learning and the Information Bottleneck Principle

深度学习与信息瓶颈原理
Naftali Tishby, Noga Zaslavsky · 2015

用信息瓶颈理论分析深度网络各层互信息与泛化界

开始阅读 ↗PDFalphaXiv 讨论
被推荐 · 4 人首次 2016-11-28 · 最近 2023-08-11
4不同的人
3活跃月份
4讨论串
1,532被引(OpenAlex)

用信息瓶颈(IB)原理分析深度神经网络:把网络量化为各层与输入、输出变量之间的互信息,据此计算信息论极限并得到有限样本泛化界。作者认为最优的层数和每层特征数与信息瓶颈权衡的分岔点有关,层级表示对应信息曲线上的结构性相变。

HN 为什么提它

早期评论者把它当作连接统计力学、信息论与深度学习的有趣工作;后来有人称其为经典,但也有评论认为其关键主张与经验结果相矛盾。

其他难度 5 / 5约 30 分钟经得起时间
读之前最好知道
1互信息(mutual information)
2信息瓶颈(information bottleneck)
3信息论基础
4深度神经网络与泛化界

学习路径

读这篇之前,按顺序读书架上的 1 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

候选中只有一篇与目标论文的理论视角直接相关:它把深度学习与物理中的重整化群联系起来,可以作为这篇信息瓶颈分析之前的背景阅读。

  1. 1
    An exact mapping between the Variational Renormalization Group and Deep Learning变分重整化群与深度学习之间的精确映射 · 2014

    同样从理论角度解释深度网络为何能逐层提取相关特征,可作为信息瓶颈视角的对照背景。

    读变分重整化群与 RBM 堆叠之间映射的核心想法:逐层粗粒化保留相关信息。

  2. 2
    Deep Learning and the Information Bottleneck Principle深度学习与信息瓶颈原理 · 2015 · 就是这篇

    目标论文:用信息瓶颈原理量化各层与输入、输出的互信息,并推导泛化界。

    读把 DNN 表示为层与输入输出之间的互信息,信息瓶颈的最优极限以及有限样本泛化界。

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
推荐mturmon · 2016-11

“Here's an interesting follow up from a noted researcher (Tali Tishby) with one foot in the stat mech camp, and one in the information theory camp: Deep Learning and the Information Bottleneck Principle”

推荐 Tishby 的后续工作,连接统计力学与信息论
Exact mapping between Variational Renormalization Group and Deep Learning (2014)原评论 ↗
推荐ssivark · 2016-11

“For an information theoretic perspective of this relation between deep learning and RG, refer to this fascinating paper by Naftali Tishby and Noga Zaslavsky, that brings together ideas from different fields: Deep Learning and the Information Bottleneck Principle”

推荐 Tishby 和 Zaslavsky 的论文,从信息论角度看深度学习与 RG
Exact mapping between Variational Renormalization Group and Deep Learning (2014)原评论 ↗
批评mathinpens · 2018-05

“but some of his key claims are probably contradicted by empirical results.”

Why does deep and cheap learning work so well?原评论 ↗
引用ssivark · 2016-11

“In particular, I've spent the last several months in trying to understand the following two papers in increasing levels of depth”

说自己花了数月逐层深入研读这篇与另一篇论文
Ask HN: What projects are you currently working on?原评论 ↗
引用tbalsam · 2023-08

“It's likely going to be a Tishby-like (the classic paper from 2015”

称它是 Tishby 式的 2015 年经典论文
Do Machine Learning Models Memorize or Generalize?原评论 ↗