按年被提到
20172017 · 4 次2026
AI 安全、伦理与社会影响›对抗样本与后门·arXiv:1708.06733 · cs.CR

BadNets: Identifying Vulnerabilities in the Machine Learning Model Supply Chain

BadNets:识别机器学习模型供应链中的漏洞
Tianyu Gu, Brendan Dolan-Gavitt, Siddharth Garg · 2017

外包训练的神经网络可被植入后门,仅在特定触发输入上出错

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 5 人首次 2017-08-23 · 最近 2023-02-25
5不同的人
3活跃月份
5讨论串
1,016被引(OpenAlex)

深度网络训练成本高,许多用户会把训练外包给云端或使用预训练模型再微调。论文表明这会带来新的安全风险:攻击者可制作带后门的网络(BadNet),它在用户的训练和验证样本上表现很好,却在攻击者选定的输入上行为异常。作者先在手写数字分类器上做示例,再做出一个美国路牌分类器:贴上特定贴纸的停车标志会被识别为限速标志,且后门在网络为另一任务重新训练后仍可保留,触发时平均使准确率下降 25%。

HN 为什么提它

HN 上的人把它当作神经网络后门攻击和机器学习模型供应链风险的相关文献来引用,也有作者提到并行的早期工作。

实证研究难度 3 / 5约 40 分钟经得起时间
读之前最好知道
1神经网络训练与微调
2对抗样本与数据投毒
3机器学习模型供应链(预训练模型、云端训练)
4软件安全基础

学习路径

读这篇之前,按顺序读书架上的 4 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

这条路径帮你了解对抗样本、黑盒攻击以及训练期投毒,再看 BadNets 如何在外包训练中植入后门。

  1. 1

    对 SVM 的投毒攻击,说明训练阶段被篡改数据如何影响模型,与后门攻击同属训练期威胁。

    读攻击者在训练集中注入数据以破坏模型的思路。

  2. 2
    Intriguing properties of neural networks神经网络的有趣性质 · 2013

    发现神经网络对微小扰动脆弱,是机器学习安全研究的起点。

    读对抗样本的发现与可迁移性。

  3. 3
    Explaining and Harnessing Adversarial Examples解释并利用对抗样本 · 2014

    解释对抗样本成因并给出快速生成方法,是对比本文推理期与训练期攻击的参照。

    读FGSM 的做法与线性解释。

  4. 4
    Practical Black-Box Attacks against Machine Learning针对机器学习的实用黑盒攻击 · 2016

    展示攻击者在有限访问条件下攻击模型,对应 BadNets 的威胁模型讨论。

    读替代模型与迁移攻击的流程。

  5. 5
    BadNets: Identifying Vulnerabilities in the Machine Learning Model Supply ChainBadNets:识别机器学习模型供应链中的漏洞 · 2017 · 就是这篇

    目标论文:外包训练的网络可被植入只在触发输入上出错的后门。

    读威胁模型(外包训练与迁移学习)、触发器设计,以及在 MNIST 和交通标志上的后门实验。

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用alexott · 2017-10

“Related article: "BadNets: Identifying Vulnerabilities in the Machine Learning Model Supply Chain"”

贴出 BadNets 作为相关文章
One pixel attack for deceiving deep neural networks原评论 ↗
引用moyix · 2023-02

“I believe our paper [1], concurrently with a couple others [2,3], did that”

指出自己的论文与另外几篇同期工作最早提出了后门 DNN
Planting Undetectable Backdoors in Machine Learning Models原评论 ↗
被提交为 story · 3 次