按年被提到
20172018 · 10 次2026
机器学习与深度学习›深度学习理论与泛化·arXiv:1711.11561 · cs.LG

Measuring the tendency of CNNs to Learn Surface Statistical Regularities

衡量 CNN 学习表层统计规律的倾向
Jason Jo, Yoshua Bengio · 2017

用傅里叶滤波证明 CNN 倾向于抓住表层统计规律

开始阅读 ↗PDFalphaXiv 讨论
被推荐 · 9 人首次 2018-01-16 · 最近 2020-09-24
9不同的人
4活跃月份
11讨论串
176被引(OpenAlex)

深度 CNN 泛化得很好,却对对抗扰动极其敏感,作者想弄清它们在没有学到高层语义的情况下为何能泛化。他们用傅里叶滤波在 SVHN 和 CIFAR-10 上构造高层语义相同、表层统计规律不同的数据集变体(低频版和随机滤波版),发现 CNN 倾向于抓住训练集的傅里叶图像统计,泛化差距最高达 28%;显著加深网络对缩小这一差距作用很小。

HN 为什么提它

评论者引用它说明 CNN 主要学到的是表层统计而非语义特征,进而质疑深层是否真的捕捉了语义,并联系数据增强与对抗样本。

实证研究难度 3 / 5约 25 分钟经得起时间
读之前最好知道
1卷积神经网络
2傅里叶变换与图像频谱
3对抗样本
4泛化与过拟合

学习路径

读这篇之前,按顺序读书架上的 4 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

先看对抗样本的发现和快速生成方法,再看被愚弄的网络和通用对抗扰动,才能理解目标论文为什么用傅里叶滤波来衡量 CNN 对表层统计规律的依赖。

  1. 1
    Intriguing properties of neural networks神经网络的有趣性质 · 2013

    最早报告微小扰动能让网络误分类,是目标论文所说极端敏感性的出处。

    读对抗样本的发现和可迁移性。

  2. 2
    Explaining and Harnessing Adversarial Examples解释并利用对抗样本 · 2014

    把对抗样本归因于线性并提出快速生成法,是理解网络为何对扰动敏感的核心参考。

    读线性解释和快速梯度符号法。

  3. 3
    Deep Neural Networks are Easily Fooled: High Confidence Predictions for Unrecognizable Images深度神经网络很容易被愚弄:对无法辨认的图像给出高置信度预测 · 2014

    对人眼不可辨认的图像给出高置信度预测,说明网络依赖的并非人类意义上的语义。

    读进化算法生成的噪声图及其高置信度分类的实验。

  4. 4
    Universal adversarial perturbations通用对抗扰动 · 2016

    一个与图像无关的扰动就能让大量图像出错,说明网络可能利用全局的统计规律。

    读通用扰动的生成方式和跨模型泛化的结果。

  5. 5
    Measuring the tendency of CNNs to Learn Surface Statistical Regularities衡量 CNN 学习表层统计规律的倾向 · 2017 · 就是这篇

    目标论文:用傅里叶滤波改变图像的表层统计规律,衡量 CNN 对它的依赖。

    读傅里叶滤波后的训练和测试设置、泛化差距,以及它对 CNN 倾向抓表层规律的结论。

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
推荐denzil_correa · 2018-06

“is also a great insight into this phenomena”

称赞这篇论文对该现象提供了很好的洞见
Why do CNNs generalize so poorly to small image transformations?原评论 ↗
引用eggie5 · 2018-01

“we don't even know why they generalise in the first place! See: [OTHER_PAPER], Measuring the tendency of CNNs to Learn Surface Statistical Regularities”

引用它说明人们甚至不知道 CNN 为什么能泛化
Cloud AutoML: Making AI accessible to every business原评论 ↗
引用tc · 2018-01

“they confirmed that even networks that generalize well are learning mostly surface-level statistics.”

指出它证实即使泛化良好的网络也主要在学表层统计特征
Fourier transforms of images (2017)原评论 ↗
引用mlthoughts2018 · 2018-06

“This problem is discussed in [0], which creates a lot of problems for people who want to believe that some deep, internal layer of a neural net can capture semantically relevant features.”

用它说明深层能捕捉语义特征的信念面临问题
Bayesian Inference for Hiring Engineers原评论 ↗
引用mlthoughts2018 · 2018-06

“This paper gives an example of exactly this issue for CNN models for image processing [0].”

以它为例,说明图像处理的 CNN 模型确有这个问题
Deep learning: a critical appraisal原评论 ↗
引用mlthoughts2018 · 2018-06

“I'm thinking in the spirit of: < Measuring the tendency of CNNs to Learn Surface Statistical Regularities >.”

联系数据增强,引用它作为思路参考
Improving Deep Learning Performance with AutoAugment原评论 ↗
看全部 9 条 →
引用nabla9 · 2018-06

“see also Measuring the tendency of CNNs to Learn Surface Statistical Regularities”

补充参考 Jo 和 Bengio 的这篇论文
Ask HN: If another AI winter is upon us, where are the research chokepoints?原评论 ↗
引用stochastic_monk · 2018-07

“In light of [0], there is both theoretical and experimental reason to believe that CNNs are mostly picking up fourier decomposition.”

认为有理论和实验依据表明 CNN 主要在学傅里叶分解
Adversarial Reprogramming of Neural Networks原评论 ↗
引用gwern · 2020-09

“Some links: Measuring the tendency of CNNs to Learn Surface Statistical Regularities [OTHER_PAPER]”

贴出这篇及另一篇相关论文的链接
Why neural networks struggle with the Game of Life原评论 ↗
被提交为 story · 2 次