按年被提到
20172017 · 2 次2026
AI 安全、伦理与社会影响›对抗样本与后门·arXiv:1707.07397 · cs.CV

Synthesizing Robust Adversarial Examples

合成鲁棒的对抗样本
Anish Athalye, Logan Engstrom, Andrew Ilyas, Kevin Kwok · 2017

生成在视角、噪声变换下仍有效的对抗样本,含 3D 打印实物

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 8 人首次 2017-10-16 · 最近 2024-09-03发表于 International Conference on Machine Learning
8不同的人
8活跃月份
8讨论串
973被引(OpenAlex)

标准对抗样本在现实世界中会因视角变化、相机噪声等自然变换而失效。论文提出首个能在选定变换分布上保持对抗性的合成算法,先得到对噪声、形变和仿射变换鲁棒的二维对抗图像,再把算法用于复杂三维物体,并通过 3D 打印制作出首批物理对抗物体,证明了现实世界中三维对抗物体的存在。

HN 为什么提它

评论者拿它说明神经网络图像分类器并不鲁棒,常引用“3D 打印的乌龟被识别为步枪”这一例子,以及变换类防御很弱。

方法难度 3 / 5约 45 分钟经得起时间
读之前最好知道
1卷积神经网络与图像分类
2对抗样本(adversarial examples)
3基于梯度的优化
43D 渲染与图像变换基础

学习路径

读这篇之前,按顺序读书架上的 5 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

这条路径帮我从对抗样本的发现与快速生成方法,到物理世界中的对抗样本及其质疑,理解为什么需要在一组变换分布上优化出鲁棒的对抗样本。

  1. 1
    Intriguing properties of neural networks神经网络的有趣性质 · 2013

    对抗样本概念的起点。

    读微小扰动导致误分类的现象,以及用优化方法求扰动。

  2. 2
    Explaining and Harnessing Adversarial Examples解释并利用对抗样本 · 2014

    给出快速生成对抗样本的方法,也是目标论文要对比的单步基线之一。

    读线性解释和快速梯度符号法的公式;理解它为何只在特定输入上有效。

  3. 3
    Rethinking the Inception Architecture for Computer Vision重新思考计算机视觉中的 Inception 架构 · 2015

    目标论文攻击的分类器是 Inception-v3,需要知道其作为目标模型的角色。

    读只需了解这是一个 ImageNet 分类网络;不用细读分解卷积的细节。

  4. 4
    Adversarial examples in the physical world物理世界中的对抗样本 · 2016

    最早在物理世界中验证对抗样本,目标论文要在它的基础上改进。

    读打印后经手机拍摄仍有效的实验,以及它们在视角变化下的成功率。

  5. 5
    NO Need to Worry about Adversarial Examples in Object Detection in Autonomous Vehicles无需担心自动驾驶车辆目标检测中的对抗样本 · 2017

    目标论文要回应这类「物理对抗样本在变化的距离和角度下失效」的质疑。

    读该文的实验设定和结论,用来对照目标论文要克服的问题。

  6. 6
    Synthesizing Robust Adversarial Examples合成鲁棒的对抗样本 · 2017 · 就是这篇

    目标论文:在一组变换分布上优化,得到鲁棒的对抗样本,含 3D 打印实物。

    读对变换分布求期望的优化目标,以及从 2D 图像到 3D 物体的渲染流程。

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用RodgerTheGreat · 2017-10

“NNs are demonstrably[1] not robust image classifiers.”

引它证明神经网络并不是鲁棒的图像分类器
The Neural Net Tank Urban Legend原评论 ↗
引用nealeratzlaff · 2018-01

“Adversarial examples showed their teeth, and hopefully convinced everyone to care about robust models”

认为对抗样本暴露了模型的弱点,希望促使大家重视鲁棒模型
AI and Deep Learning in 2017 – A Year in Review原评论 ↗
引用sgillen · 2019-03

“you discover your network classified a turtle as a rifle [0]”

拿它说明网络可能把乌龟认成步枪
Sikorsky’s autonomous helicopter tech is ready for takeoff原评论 ↗
引用bnegreve · 2019-04

“real world adversarial examples are easy to craft [1]”

说明现实世界的对抗样本很容易构造
Researchers trick Tesla autopilot into driving into opposing traffic原评论 ↗
引用fxtentacle · 2020-02

“most networks trained for object recognition work on low-level features such as colors and textures, as shown in [3].”

引它说明物体识别网络主要依赖颜色、纹理等底层特征
Contrastive Self-Supervised Learning原评论 ↗
引用dijksterhuis · 2020-07

“Applying some form of transformation is a weak countermeasure to adversarial examples.”

说明对抗样本能扛过变换类防御,这类防御很弱
Fawkes: Image “Cloaking” for Personal Privacy原评论 ↗
看全部 7 条 →
引用ben_w · 2024-09

“consider also things like this: Synthesizing Robust Adversarial Examples”

把它当作外部人利用学习系统漏洞的例子
Big Tech Sees Like a State (2020)原评论 ↗
被提交为 story · 1 次