“Those are all good papers.”
Deformable Convolutional Networks
为卷积采样位置加可学习偏移,增强几何变换建模能力
CNN 的构件结构固定,难以建模几何变换。论文提出可变形卷积和可变形 RoI 池化两个模块:在空间采样位置上加入额外的偏移量,偏移由目标任务学习得到,无需额外监督。这些模块可直接替换现有 CNN 中的对应模块,用标准反向传播端到端训练,并在目标检测和语义分割上验证了有效性。
评论者把它列为一批好的视觉论文之一,并在谈到让网络学习自然变换时把可变形卷积网络当作相关参考。
学习路径
读这篇之前,按顺序读书架上的 4 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出这条路径帮我补齐可变形卷积所依赖的背景:空间变换的可微建模、残差骨干网络,以及目标检测框架 Faster R-CNN。
- 1
可变形卷积的实验大量使用 ResNet 作为骨干,替换其中的卷积层。
读理解残差块与 bottleneck 结构、各 stage 的特征图尺寸,方便看懂「替换最后几层 3x3 卷积」的设置。
- 2
Inception-ResNet 是目标论文所用骨干之一(修改后的版本),了解其结构有助于读实验。
读只需粗看 Inception-ResNet 的混合结构,不必深究各变体细节。
- 3
可变形 RoI pooling 要接入的检测框架,理解 RPN 与 RoI pooling 才能看懂它改了哪里。
读抓区域建议网络与 RoI pooling 的位置;了解两阶段检测的流水线。
- 4
STN 同样让网络学习空间变换,但是全局的参数化变换;可变形卷积是更局部、更密集的做法。
读抓定位网络、网格生成器和可微采样器三部分,以及双线性插值如何让采样可微。
- 5Deformable Convolutional Networks
目标论文:在卷积和 RoI pooling 的采样位置上加可学习偏移。
读重点读可变形卷积与可变形 RoI pooling 的公式、偏移如何用额外卷积层预测,以及双线性插值的反向传播。
HN 书评
推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及“I expected a reference to a kind of deformable convnet and its variants[1] that try to learn natural transformations.”
- Deformable Convolutional Networks ↗amenod · 2017-04-30 · 2 分
- Convolutional Networks with geometric transformations modeling ↗annnnd · 2017-05-03 · 4 分
- [1703.06211] Deformable Convolutional Networks ↗rbanffy · 2018-04-16 · 3 分