按年被提到
20162017 · 3 次2026
AI 安全、伦理与社会影响›对抗样本与后门·arXiv:1602.02697 · cs.CR

Practical Black-Box Attacks against Machine Learning

针对机器学习的实用黑盒攻击
Nicolas Papernot, Patrick McDaniel, Ian Goodfellow, Somesh Jha, Z. Berkay Celik, Ananthram Swami · 2016

只看输出标签、训练替代模型,就能攻击远程托管的深度网络

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 9 人首次 2016-02-23 · 最近 2020-06-21发表于 ACM Asia Conference on Computer and Communications Security (ASIA CCS)
9不同的人
8活跃月份
9讨论串
3,491被引(OpenAlex)

论文首次演示攻击者在不知道模型内部结构和训练数据的情况下,控制远程托管的 DNN:攻击者只能观察目标模型对所选输入给出的标签,用这些标签训练本地替代模型,再用替代模型构造对抗样本。对 MetaMind 托管的 DNN,84.24% 的对抗样本被误分类;用逻辑回归替代模型攻击 Amazon 和 Google 的模型,误分类率分别为 96.19% 和 88.94%,并能规避此前认为会增加攻击难度的防御策略。

HN 为什么提它

HN 上的人引用它说明攻击者不需要访问目标网络,只要拿输入输出训练一个替代模型,就能构造对抗样本。

方法难度 3 / 5约 45 分钟经得起时间
读之前最好知道
1深度神经网络基础
2对抗样本(adversarial examples)
3迁移性(transferability)
4监督学习与分类器

学习路径

读这篇之前,按顺序读书架上的 3 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

先理解对抗样本与物理世界中的攻击,再看对模型的黑盒窃取,最后读只凭输出标签训练替代模型的黑盒攻击。

  1. 1
    Explaining and Harnessing Adversarial Examples解释并利用对抗样本 · 2014

    对抗样本的快速生成方法,是目标论文攻击替代模型时使用的基础

    读对抗样本的线性解释与快速梯度符号法

  2. 2
    Adversarial examples in the physical world物理世界中的对抗样本 · 2016

    说明对抗样本可在真实环境中生效,扩展了威胁模型

    读对抗样本经摄像头拍摄后依然有效的实验设置

  3. 3
    Stealing Machine Learning Models via Prediction APIs通过预测 API 窃取机器学习模型 · 2016

    同样只凭查询接口攻击云端模型,场景与目标论文接近

    读仅靠预测 API 复制模型的方法与假设

  4. 4
    Practical Black-Box Attacks against Machine Learning针对机器学习的实用黑盒攻击 · 2016 · 就是这篇

    目标论文:训练替代模型,以黑盒方式攻击远程网络

    读合成数据扩充训练替代模型,以及对抗样本从替代模型迁移到目标模型

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用kajecounterhack · 2016-04

“Note that adversarial examples generalize across models.”

借它说明对抗样本可以跨模型迁移
I’m not a human: Breaking the Google reCAPTCHA [pdf]原评论 ↗
引用statusgraph · 2017-08

“Interestingly, you can treat the NN as a black box (ie, not look at individual weights or even the architecture) and still derive adversarial cases:”

指出把神经网络当黑盒也能构造对抗样本
Why Deep Learning surprises me原评论 ↗
引用Winterflow3r · 2017-11

“No, this paper by Papernot et al shows how to do blackbox attacks without knowledge of model internals.”

反驳并指出这篇论文无需了解模型内部就能黑盒攻击
How Adversarial Attacks Work原评论 ↗
引用whataretensors · 2018-01

“You don't need access to the network, you can just build another one.”

说明无需访问目标网络,另训一个模型即可攻击
Audio Adversarial Examples原评论 ↗
引用Fripplebubby · 2018-03

“create and train a local model as a stand-in for the actual model using the inputs and outputs of the actual model.”

解释用目标模型的输入输出训练本地替代模型
AI Has a Hallucination Problem That's Proving Tough to Fix原评论 ↗
引用JoeDaDude · 2019-10

“Nicholas Papernot [1] et al. has shown how this can be an attack on an unknown network provided you have access to inference results produced by the target network [2].”

引用它说明只要能拿到推理结果就能攻击未知网络
Introduction to Adversarial Machine Learning原评论 ↗
被提交为 story · 3 次