按年被提到
20172017 · 3 次2026
视觉、语音与图像生成›卷积网络与图像识别·arXiv:1703.06211 · cs.CV

Deformable Convolutional Networks

可变形卷积网络
Jifeng Dai, Haozhi Qi, Yuwen Xiong, Yi Li, Guodong Zhang, Han Hu, Yichen Wei · 2017

为卷积采样位置加可学习偏移,增强几何变换建模能力

开始阅读 ↗PDFalphaXiv 讨论
被推荐 · 5 人首次 2017-04-30 · 最近 2018-06-10
5不同的人
5活跃月份
5讨论串
7,543被引(OpenAlex)

CNN 的构件结构固定,难以建模几何变换。论文提出可变形卷积和可变形 RoI 池化两个模块:在空间采样位置上加入额外的偏移量,偏移由目标任务学习得到,无需额外监督。这些模块可直接替换现有 CNN 中的对应模块,用标准反向传播端到端训练,并在目标检测和语义分割上验证了有效性。

HN 为什么提它

评论者把它列为一批好的视觉论文之一,并在谈到让网络学习自然变换时把可变形卷积网络当作相关参考。

方法难度 4 / 5约 40 分钟经得起时间
读之前最好知道
1卷积神经网络(CNN)
2目标检测与 RoI 池化
3语义分割
4双线性插值

学习路径

读这篇之前,按顺序读书架上的 4 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

这条路径帮我补齐可变形卷积所依赖的背景:空间变换的可微建模、残差骨干网络,以及目标检测框架 Faster R-CNN。

  1. 1
    Deep Residual Learning for Image Recognition用于图像识别的深度残差学习 · 2015

    可变形卷积的实验大量使用 ResNet 作为骨干,替换其中的卷积层。

    读理解残差块与 bottleneck 结构、各 stage 的特征图尺寸,方便看懂「替换最后几层 3x3 卷积」的设置。

  2. 2

    Inception-ResNet 是目标论文所用骨干之一(修改后的版本),了解其结构有助于读实验。

    读只需粗看 Inception-ResNet 的混合结构,不必深究各变体细节。

  3. 3
    Faster R-CNN: Towards Real-Time Object Detection with Region Proposal NetworksFaster R-CNN:用区域建议网络实现实时目标检测 · 2015

    可变形 RoI pooling 要接入的检测框架,理解 RPN 与 RoI pooling 才能看懂它改了哪里。

    读抓区域建议网络与 RoI pooling 的位置;了解两阶段检测的流水线。

  4. 4
    Spatial Transformer Networks空间变换网络 · 2015

    STN 同样让网络学习空间变换,但是全局的参数化变换;可变形卷积是更局部、更密集的做法。

    读抓定位网络、网格生成器和可微采样器三部分,以及双线性插值如何让采样可微。

  5. 5
    Deformable Convolutional Networks可变形卷积网络 · 2017 · 就是这篇

    目标论文:在卷积和 RoI pooling 的采样位置上加可学习偏移。

    读重点读可变形卷积与可变形 RoI pooling 的公式、偏移如何用额外卷积层预测,以及双线性插值的反向传播。

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
推荐tanilama · 2017-11

“Those are all good papers.”

称包括可变形卷积在内的几篇都是好论文
China is catching up to the USA, while Japan is being left behind原评论 ↗
引用milani · 2018-06

“I expected a reference to a kind of deformable convnet and its variants[1] that try to learn natural transformations.”

指出本以为会提到试图学习自然变换的可变形卷积网络
Why do CNNs generalize so poorly to small image transformations?原评论 ↗
被提交为 story · 3 次