推荐wpasc · 2018-02
“I read a great, great paper about training systems against this.”
推荐一篇很棒的论文,针对此类攻击训练系统
用神经元覆盖率与差分测试自动找出深度学习系统的错误
提出首个系统化测试真实深度学习系统的白盒框架:引入神经元覆盖率衡量测试输入触及网络多少部分,让功能相近的多个模型互为参照以免去人工标注,并把寻找既触发差异行为又覆盖率高的输入表述为联合优化问题,用基于梯度的搜索求解。在五个常用数据集上的先进模型中找出了数千个错误的边角行为,用这些输入重新训练还能把模型精度最多提升 3%。
在讨论如何系统性地验证或攻击神经网络时,评论者认为它用安全测试式的思路来测试深度网络,方向是对的。
先熟悉 DeepXplore 测试的典型模型(VGG、ResNet、端到端驾驶)和深度网络易被愚弄的现象,再看它如何用神经元覆盖率和差分测试找错。
VGG 是 DeepXplore 测试的图像分类模型之一。
读了解 3x3 卷积堆叠的结构,知道被测对象长什么样。
ResNet 同样是被测的图像分类模型,其残差结构影响神经元覆盖的统计。
读理解残差连接的基本结构;训练细节略读。
端到端自动驾驶 CNN 是 DeepXplore 关注的安全关键应用场景。
读理解从摄像头像素直接回归方向盘转角的做法。
说明深度网络对人眼无法辨认的输入也会高置信度分类,激发系统性找错的需求。
读抓住网络在异常输入上行为不可预测这一核心现象。
首个白盒框架,用神经元覆盖率和多模型差分测试自动发现错误。
读抓住神经元覆盖率的定义,以及联合优化覆盖和模型分歧的生成测试输入的过程。
“I read a great, great paper about training systems against this.”
“I think that DeepXplore [0] is on the right track.”