按年被提到
20222022 · 4 次2026
AI 安全、伦理与社会影响›对抗样本与后门·arXiv:2204.06974 · cs.LG

Planting Undetectable Backdoors in Machine Learning Models

在机器学习模型中植入不可检测的后门
Shafi Goldwasser, Michael P. Kim, Vinod Vaikuntanathan, Or Zamir · 2022

证明恶意学习者可在分类器中植入任何受限观察者都无法发现的后门

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 4 人首次 2022-04-17 · 最近 2025-12-29
4不同的人
4活跃月份
4讨论串
19被引(OpenAlex)

当用户把训练任务委托给服务商时,恶意学习者可以在分类器中植入不可检测的后门:表面上分类器表现正常,实际上学习者有办法只加微小扰动就改变任意输入的分类,且没有后门密钥时任何计算受限的观察者都发现不了。论文给出两种保证不同的框架:一是借助数字签名方案给任意模型植入后门,黑盒访问下找不到哪怕一个两者输出不同的输入;二是在随机傅里叶特征(RFF)或随机 ReLU 网络中植入后门,对掌握完整网络描述和训练数据的白盒区分者同样不可检测。这说明不可检测后门是认证对抗鲁棒性的重大理论障碍:可构造出与“对抗鲁棒”分类器无法区分、但每个输入都有对抗样本的分类器。

HN 为什么提它

HN 上的人在讨论是否能信任外包训练或公开发布的模型时引用它,作为“ML 后门可被植入且难以检测”的形式化结果。

奠基之作难度 5 / 5约 120 分钟经得起时间
读之前最好知道
1密码学基础(数字签名、计算不可区分性)
2机器学习中的对抗样本与鲁棒性
3学习理论与泛化误差
4随机傅里叶特征(Random Fourier Features)

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用belter · 2022-04

“PDF: Planting Undetectable Backdoors in Machine Learning Models”

贴出 PDF,说明恶意学习者能植入无法检测的 ML 后门
Planting Undetectable Backdoors in Machine Learning Models原评论 ↗
引用PeterisP · 2022-05

“recent research shows that it is possible and hard to detect - Planting Undetectable Backdoors in Machine Learning Models”

引用近期研究:ML 后门可以植入且很难检测
OPT: Open Pre-trained Transformer Language Models原评论 ↗
引用kkfx · 2022-06

“I suggest for ML Planting Undetectable Backdoors in Machine Learning Models or the fact you can't even trust a public model, since you can't really control it regularly in training terms.”

借它说明 ML 中公开模型不可信,因为训练过程无法常规管控
Blogging with Org-mode for lazy people原评论 ↗
引用Kiboneu · 2025-12

“your question reminds me of this paper which seems to address it on a lower level: Planting Undetectable Backdoors in Machine Learning Models”

觉得这篇论文在更底层回应了对方的问题,涉及 ML 分类器中不可检测的后门
Show HN: Z80-μLM, a 'Conversational AI' That Fits in 40KB原评论 ↗
被提交为 story · 1 次