推荐waldarbeiter · 2024-05
“For everyone interested in what makes a classifier put an image in a certain class I can recommend the excellent paper by Robert Geirhos et al.”
推荐这篇出色论文,解释分类器为何依赖纹理而非形状
实验表明 ImageNet 上的 CNN 偏重纹理,风格化训练可转向形状
人们通常认为 CNN 通过学习越来越复杂的形状表示来识别物体,也有研究提示纹理更重要。论文用纹理与形状线索冲突的图像评估 CNN 和人类观察者,发现 ImageNet 训练的 CNN 强烈偏向识别纹理,与人类行为证据形成鲜明对比。同一个 ResNet-50 若在风格化版本的 Stylized-ImageNet 上训练,则会学到基于形状的表示,更贴近人类表现(九个实验、97 名观察者共 48,560 次心理物理试验),并带来目标检测提升和对多种图像失真更强鲁棒性等意外好处。
HN 评论者用它解释分类器为什么依赖纹理而非形状,并介绍可借助风格迁移得到 Stylized-ImageNet 来让网络更重视形状、改善鲁棒性。
“For everyone interested in what makes a classifier put an image in a certain class I can recommend the excellent paper by Robert Geirhos et al.”
“But that can be fixed:”
“You can make the CNN focus more on shape rather than photographic texture using style transfer, hence, Stylized-Imagenet: ImageNet-trained CNNs are biased towards texture; increasing shape bias improves accuracy and robustness”