按年被提到
20192019 · 1 次2026
AI 安全、伦理与社会影响›对抗样本与后门·arXiv:1905.02175 · stat.ML

Adversarial Examples Are Not Bugs, They Are Features

对抗样本不是缺陷,而是特征
Andrew Ilyas, Shibani Santurkar, Dimitris Tsipras, Logan Engstrom, Brandon Tran, Aleksander Madry · 2019

把对抗样本归因于数据中预测力强但脆弱、人类难以理解的非鲁棒特征

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 3 人首次 2019-05-08 · 最近 2026-04-27
3不同的人
3活跃月份
3讨论串
1,024被引(OpenAlex)

论文指出对抗样本可直接归因于非鲁棒特征的存在:这些特征来自数据分布中的模式,预测力很强,但脆弱且对人类不可理解。作者先在理论框架中刻画这类特征,再证明它们在标准数据集中广泛存在,最后给出一个简单设定,严格地把观察到的现象与人为指定的鲁棒性概念和数据内在几何之间的错位联系起来。

HN 为什么提它

评论者引用它说明模型会利用「很可疑」的特征,即预测有效但对人类没有意义的特征;2026 年还有人说总是把这篇论文的标题记反。

实证研究难度 4 / 5约 70 分钟经得起时间
读之前最好知道
1对抗样本(adversarial examples)
2对抗训练与鲁棒性
3深度神经网络分类器
4统计学习与泛化

学习路径

读这篇之前,按顺序读书架上的 6 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

沿着对抗样本的可迁移性、鲁棒与精度的冲突,再到纹理偏好,理解把对抗样本归因于非鲁棒特征的论点。

  1. 1
    Practical Black-Box Attacks against Machine Learning针对机器学习的实用黑盒攻击 · 2016

    黑盒攻击依赖对抗样本的可迁移性,本文要解释这种现象。

    读抓替代模型攻击的流程以及对抗样本在模型间迁移。

  2. 2

    系统研究对抗样本的可迁移性,本文用非鲁棒特征给出解释。

    读抓不同模型间迁移的实验结论。

  3. 3

    给出对抗样本在高维几何下的简单理论例子,与本文的理论设定相呼应。

    读抓高维球面数据集上精度与鲁棒性的关系。

  4. 4

    讨论对抗样本是否不可避免,是另一种解释路线。

    读抓高维空间下对抗样本存在的理论论证,对比本文的特征视角。

  5. 5

    指出鲁棒性与标准精度可能相冲突,与本文的非鲁棒特征论点直接相关。

    读抓鲁棒训练使精度下降的现象及其简单理论模型。

  6. 6
    ImageNet-trained CNNs are biased towards texture; increasing shape bias improves accuracy and robustnessImageNet 训练的 CNN 偏向纹理;提高形状偏好可改善精度与鲁棒性 · 2018

    说明标准 CNN 依赖人类并不依赖的纹理线索,与非鲁棒特征观点一致。

    读抓形状与纹理冲突的实验和风格化数据的作用。

  7. 7
    Adversarial Examples Are Not Bugs, They Are Features对抗样本不是缺陷,而是特征 · 2019 · 就是这篇

    把对抗样本归因于数据中预测力强但脆弱的非鲁棒特征。

    读抓鲁棒与非鲁棒特征的形式化,以及重构数据集的实验。

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用b3kart · 2020-02

“E.g. they make use of really dubious features [1]”

引用它说明对抗样本利用了预测有效但并不可靠的特征
Sometimes, requiring explanability is counterproductive原评论 ↗
引用dijksterhuis · 2026-04

“it might be the latter, because i always got the title of this paper Adversarial Examples Are Not Bugs, They Are Features backwards.”

Bob Odenkirk Would Like to Remind You That Life Is a Meaningless Farce原评论 ↗
被提交为 story · 1 次