按年被提到
20152017 · 2 次2026
视觉、语音与图像生成›ViT 与视觉新架构·arXiv:1506.02025 · cs.CV

Spatial Transformer Networks

空间变换网络
Max Jaderberg, Karen Simonyan, Andrew Zisserman, Koray Kavukcuoglu · 2015

可插入卷积网络、让网络主动做空间变换的可微模块

开始阅读 ↗PDFalphaXiv 讨论
被推荐 · 3 人首次 2016-04-05 · 最近 2017-04-28
3不同的人
3活跃月份
3讨论串
5,137被引(OpenAlex)

论文提出 Spatial Transformer,一个可微的可学习模块,能在网络内部依据特征图本身对数据做空间变换,且无需额外监督或改动优化过程。插入现有卷积架构后,模型学会对平移、缩放、旋转和更一般的形变保持不变性,并在多个基准上取得当时最好的结果。

HN 为什么提它

HN 评论者把它当作几何知识帮助建模的好例子,并在看到视差预测、注意力模型时联想到空间变换层。

方法难度 3 / 5约 45 分钟经得起时间
读之前最好知道
1卷积神经网络(CNN)
2仿射变换与双线性插值
3反向传播与可微模块
4计算机视觉基础

学习路径

读这篇之前,按顺序读书架上的 4 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

这条路径补上卷积网络识别任务的背景、可微注意力机制,以及后来拿 Spatial Transformer 作对比的相关工作,再读目标论文。

  1. 1
    Multi-digit Number Recognition from Street View Imagery using Deep Convolutional Neural Networks用深度卷积神经网络识别街景图像中的多位数字 · 2013

    目标论文的实验之一是街景多位数字识别,它是该任务的基线。

    读单个卷积网络直接读多位数字的做法与结果,作为目标论文实验的对比基线。

  2. 2
    Going Deeper with Convolutions用卷积走得更深 · 2014

    代表当时标准的深度卷积结构,用来理解 Spatial Transformer 要插入的对象和它所改进的空间不变性不足。

    读Inception 模块和整体结构;不必深究训练细节。

  3. 3
    DRAW: A Recurrent Neural Network For Image GenerationDRAW:用于图像生成的循环神经网络 · 2015

    DRAW 里的可微空间注意力窗口与 Spatial Transformer 的可微采样思路相近。

    读读取与写入注意力如何用可微方式截取图像区域。

  4. 4
    Show, Attend and Tell: Neural Image Caption Generation with Visual Attention展示、注意与讲述:带视觉注意力的神经图像描述生成 · 2015

    同期的视觉注意力模型,可对照「软注意力」与 Spatial Transformer 的空间变换。

    读软注意力与硬注意力的区别,以及可视化模型逐词关注区域的做法。

  5. 5
    Spatial Transformer Networks空间变换网络 · 2015 · 就是这篇

    目标论文:提出可插入网络的可微空间变换模块。

    读定位网络、网格生成器、采样器三个部分,以及变换参数如何通过反向传播学习。

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
推荐krosaen · 2017-04

“This reminded me of a cool paper I came across recently, Spatial Transformer Networks [1], a good example of how knowledge of geometry helps frame the problem more effectively”

推荐它,作为几何知识帮助更好地表述问题的好例子
Have We Forgotten about Geometry in Computer Vision?原评论 ↗
引用ericjang · 2016-04

“The disparity predictions generated here remind me of spatial transformer layers Spatial Transformer Networks”

看到视差预测,联想到 spatial transformer 层
Deep3D: Automatic 2D-to-3D Video Conversion with CNNs原评论 ↗
被提交为 story · 1 次