按年被提到
20162016 · 5 次2026
AI 安全、伦理与社会影响›对抗样本与后门·arXiv:1607.02533 · cs.CV

Adversarial examples in the physical world

物理世界中的对抗样本
Alexey Kurakin, Ian Goodfellow, Samy Bengio · 2016

手机摄像头拍下的对抗图像仍能让 ImageNet 分类器出错

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 7 人首次 2016-07-13 · 最近 2019-09-14
7不同的人
4活跃月份
7讨论串
5,801被引(OpenAlex)

此前关于对抗样本的工作都假设攻击者能把数据直接喂给分类器,而摄像头等传感器驱动的物理系统并非如此。论文将对抗图像经手机摄像头拍摄后输入 ImageNet Inception 分类器并测量分类准确率,发现即使经过摄像头感知,仍有很大比例的对抗样本被错误分类,说明机器学习系统在物理世界场景下同样易受对抗样本攻击。

HN 为什么提它

评论者引用它证明对抗样本在物理世界中也成立,例如打印出的对抗图像经相机拍摄后仍会被稳定地误分类。

实证研究难度 3 / 5约 25 分钟经得起时间
读之前最好知道
1对抗样本(adversarial examples)
2卷积神经网络与 ImageNet 分类
3基于梯度的攻击(如 FGSM)
4机器学习安全基础

学习路径

读这篇之前,按顺序读书架上的 4 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

先建立对抗样本的基本概念和快速生成方法,再看这篇如何把攻击搬到物理世界(打印、拍照)并在 ImageNet 分类器上验证。

  1. 1
    Intriguing properties of neural networks神经网络的有趣性质 · 2013

    最早发现不可察觉的微小扰动能让网络误分类,是对抗样本这个问题的起点。

    读读对抗样本的定义和 L-BFGS 生成思路,以及对抗样本可跨模型迁移的现象。

  2. 2
    Explaining and Harnessing Adversarial Examples解释并利用对抗样本 · 2014

    提出 fast gradient sign method,本文的攻击方法正是在它的基础上扩展出来的。

    读抓住「线性解释」和 FGSM 的一步梯度符号扰动公式;对抗训练部分可略读。

  3. 3
    ImageNet Large Scale Visual Recognition ChallengeImageNet 大规模视觉识别挑战 · 2014

    本文的实验在 ImageNet 分类任务上进行,需要了解这个基准的设定。

    读了解 ILSVRC 分类任务和 top-1 / top-5 指标即可,不必细读数据集构建细节。

  4. 4
    Rethinking the Inception Architecture for Computer Vision重新思考计算机视觉中的 Inception 架构 · 2015

    本文攻击的目标模型就是 Inception-v3,需要知道它是什么网络。

    读只需大致了解分解卷积和整体结构,不用深究正则化细节。

  5. 5
    Adversarial examples in the physical world物理世界中的对抗样本 · 2016 · 就是这篇

    目标论文:证明对抗图像经打印和手机拍摄后仍然有效。

    读看摄像头与打印实验的设置、迭代攻击方法(basic iterative / least-likely class),以及对光照等变换的鲁棒性分析。

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用danielmorozoff · 2016-07

“link to the paper.”

给出论文链接,讨论对抗图像的奇特噪声图案
Computer Vision and Adversarial Images原评论 ↗
引用anishathalye · 2017-11

“Goodfellow et al. demonstrate that adversarial misclassification works in the physical world”

引用它证明对抗性误分类在物理世界中同样有效
How Adversarial Attacks Work原评论 ↗
被提交为 story · 5 次