“Related article: "BadNets: Identifying Vulnerabilities in the Machine Learning Model Supply Chain"”
按年被提到
20172017 · 4 次2026
BadNets: Identifying Vulnerabilities in the Machine Learning Model Supply Chain
BadNets:识别机器学习模型供应链中的漏洞
Tianyu Gu, Brendan Dolan-Gavitt, Siddharth Garg · 2017
外包训练的神经网络可被植入后门,仅在特定触发输入上出错
被提及 · 5 人首次 2017-08-23 · 最近 2023-02-25
5不同的人
3活跃月份
5讨论串
1,016被引(OpenAlex)
深度网络训练成本高,许多用户会把训练外包给云端或使用预训练模型再微调。论文表明这会带来新的安全风险:攻击者可制作带后门的网络(BadNet),它在用户的训练和验证样本上表现很好,却在攻击者选定的输入上行为异常。作者先在手写数字分类器上做示例,再做出一个美国路牌分类器:贴上特定贴纸的停车标志会被识别为限速标志,且后门在网络为另一任务重新训练后仍可保留,触发时平均使准确率下降 25%。
HN 为什么提它
HN 上的人把它当作神经网络后门攻击和机器学习模型供应链风险的相关文献来引用,也有作者提到并行的早期工作。
实证研究难度 3 / 5约 40 分钟经得起时间
读之前最好知道
1神经网络训练与微调
2对抗样本与数据投毒
3机器学习模型供应链(预训练模型、云端训练)
4软件安全基础
学习路径
读这篇之前,按顺序读书架上的 4 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出这条路径帮你了解对抗样本、黑盒攻击以及训练期投毒,再看 BadNets 如何在外包训练中植入后门。
- 1
对 SVM 的投毒攻击,说明训练阶段被篡改数据如何影响模型,与后门攻击同属训练期威胁。
读攻击者在训练集中注入数据以破坏模型的思路。
- 2
- 3
- 4
展示攻击者在有限访问条件下攻击模型,对应 BadNets 的威胁模型讨论。
读替代模型与迁移攻击的流程。
- 5BadNets: Identifying Vulnerabilities in the Machine Learning Model Supply Chain
目标论文:外包训练的网络可被植入只在触发输入上出错的后门。
读威胁模型(外包训练与迁移学习)、触发器设计,以及在 MNIST 和交通标志上的后门实验。
HN 书评
推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及引用alexott · 2017-10
贴出 BadNets 作为相关文章
引用moyix · 2023-02
“I believe our paper [1], concurrently with a couple others [2,3], did that”
指出自己的论文与另外几篇同期工作最早提出了后门 DNN
被提交为 story · 3 次
- BadNets: Identifying Vulnerabilities in the Machine Learning Model Supply Chain ↗rimunroe · 2017-08-23 · 5 分
- BadNets: Identifying Vulnerabilities in the Machine Learning Model Supply Chain ↗mcone · 2017-08-25 · 2 分
- Vulnerabilities in the machine learning model supply chain ↗blacksmythe · 2017-10-13 · 1 分