按年被提到
20142014 · 4 次2026
视觉、语音与图像生成›卷积网络与图像识别·arXiv:1412.1897 · cs.CV

Deep Neural Networks are Easily Fooled: High Confidence Predictions for Unrecognizable Images

深度神经网络很容易被愚弄:对无法辨认的图像给出高置信度预测
Anh Nguyen, Jason Yosinski, Jeff Clune · 2014

人眼无法辨认的噪声图,却能让深度网络以 99.99% 的置信度分类

开始阅读 ↗PDFalphaXiv 讨论
被推荐 · 13 人首次 2014-12-09 · 最近 2017-07-15
13不同的人
8活跃月份
12讨论串
3,258被引(OpenAlex)

作者用进化算法和梯度上升,针对在 ImageNet 或 MNIST 上训练的卷积网络生成人眼完全无法识别的图像,网络却以接近确定的置信度(最高 99.99%)将其归入某个类别,称之为「愚弄图像」。这说明当时的 DNN 与人类视觉存在重要差异,并对 DNN 视觉的泛化性提出疑问。

HN 为什么提它

HN 上的人把它当作神经网络图像识别容易被欺骗的经典例证,用来说明模型与人类视觉的差距,或讨论对抗人脸识别和生物识别的可能性。

实证研究难度 3 / 5约 40 分钟经得起时间
读之前最好知道
1卷积神经网络(CNN)
2ImageNet 与 MNIST 数据集
3梯度上升与进化算法
4对抗样本(adversarial examples)

学习路径

读这篇之前,按顺序读书架上的 5 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

先了解 ImageNet 分类器与卷积网络可视化,再读对抗样本的发现,最后看如何生成人眼无法辨认却被高置信分类的图像。

  1. 1
    ImageNet Large Scale Visual Recognition ChallengeImageNet 大规模视觉识别挑战 · 2014

    目标论文攻击的是在 ImageNet 上训练的、接近人类水平的分类器,需要了解这个基准。

    读任务设定和人机对比部分。

  2. 2
    Visualizing and Understanding Convolutional Networks卷积网络的可视化与理解 · 2013

    了解卷积网络内部学到了什么,才好理解网络为什么会被噪声图愚弄。

    读反卷积可视化与各层特征的含义。

  3. 3
    Deep Inside Convolutional Networks: Visualising Image Classification Models and Saliency Maps深入卷积网络内部:可视化图像分类模型与显著图 · 2013

    通过梯度生成类别图像,与目标论文用优化方式生成欺骗图像的思路相近。

    读类别得分对输入的梯度上升生成图像的做法。

  4. 4
    Intriguing properties of neural networks神经网络的有趣性质 · 2013

    目标论文开头引用的研究:微小扰动即可让网络误分类,目标论文给出相关的另一面。

    读对抗样本的构造与跨模型迁移结论。

  5. 5
    Explaining and Harnessing Adversarial Examples解释并利用对抗样本 · 2014

    同期解释对抗样本成因的工作,可与目标论文对照理解网络的脆弱性。

    读线性解释与快速梯度符号法的基本思想。

  6. 6
    Deep Neural Networks are Easily Fooled: High Confidence Predictions for Unrecognizable Images深度神经网络很容易被愚弄:对无法辨认的图像给出高置信度预测 · 2014 · 就是这篇

    目标论文:用进化算法和梯度方法生成人眼无法辨认、网络却高置信分类的图像。

    读两种生成方法(进化算法、梯度上升)与高置信度结果的实验设置及其启示。

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
推荐HCIdivision17 · 2014-12

“To say it's both fascinating and interesting really understates it. Really neat stuff!”

盛赞这些结果:网络会把无法辨认的图像高置信度判为物体
Deep Learning Reading List原评论 ↗
推荐ogdan · 2017-07

“For some background, see Deep Neural Networks are Easily Fooled which has some cool visuals of pictures that make neural networks to strange things.”

推荐作背景阅读,里面有让神经网络出怪的图像
NO Need to Worry about Adversarial Examples for Autonomous Vehicles原评论 ↗
批评jkldotio · 2016-02

“I still don't get the hype around”

How convolutional neural networks see the world原评论 ↗
引用simonster · 2014-12

“He showed some neat results from these models (some published in Deep Neural Networks are Easily Fooled, and some from [LINK]).”

引用演讲者展示的部分结果,涉及模型对对抗图像可能更稳健
Deep Neural Networks Are Easily Fooled原评论 ↗
引用yummyfajitas · 2015-03

“Witness, for example, all the recent "we can fool deep learning image recognition systems" papers.”

把近来“能愚弄深度学习图像识别”的论文当作算法出错的例子
Life Lessons from Machine Learning原评论 ↗
引用cafebeen · 2015-06

“For example, folks have already figured out how to trick deep neural nets:”

指出深度网络已能被欺骗,说明生物识别可被伪造
Facial recognition technology is everywhere, and it may not be legal原评论 ↗
看全部 11 条 →
引用jhundal · 2015-06

“want to add a link to this paper which shows how far we still have to go”

补充这篇论文,说明图像模型离人类视觉还差得很远
Suddenly, a leopard print sofa appears原评论 ↗
引用feelix · 2016-06

“This Deep Neural Networks are Easily Fooled could be one way.”

认为它可作为对抗人脸标记的一种办法
Undocumented Facebook API to identify friends in photos原评论 ↗
引用aficionado · 2016-06

“or some drawbacks like the ones explained by Deep Neural Networks are Easily Fooled or [LINK]”

把深度网络易被无法辨认的图像愚弄列为一个缺点
AI, Deep Learning, and Machine Learning: A Primer [video]原评论 ↗
引用re · 2016-10

“I'm reminded of a paper for which the authors generated different pictures of static that fooled neural network image classifiers into confidently identifying them as different objects: Deep Neural Networks are Easily Fooled”

想起一篇论文:生成的静态噪声图让分类器自信地误判成不同物体
Open Sourcing a Deep Learning Solution for Detecting NSFW Images原评论 ↗
引用jxcole · 2017-04

“Here is an article explaining this problem: Deep Neural Networks are Easily Fooled”

给出一篇解释这个问题的文章
Teaching Machines to Draw原评论 ↗
被提交为 story · 2 次