按年被提到
20192019 · 1 次2026
视觉、语音与图像生成›图像与视频生成·arXiv:1903.07291 · cs.CV

Semantic Image Synthesis with Spatially-Adaptive Normalization

基于空间自适应归一化的语义图像合成
Taesung Park, Ming-Yu Liu, Ting-Chun Wang, Jun-Yan Zhu · 2019

用语义布局调制归一化层,由分割图合成逼真图像

开始阅读 ↗PDFalphaXiv 讨论
被推荐 · 3 人首次 2019-03-19 · 最近 2021-06-25
3不同的人
3活跃月份
3讨论串
2,973被引(OpenAlex)

提出空间自适应归一化(SPADE)层,用于根据输入的语义布局合成逼真图像。作者指出,把语义布局直接作为输入送入网络会使归一化层“冲淡”语义信息,因此改为让布局通过学得的空间自适应变换来调制归一化层的激活。多个数据集上的实验显示,视觉保真度和与布局的对齐程度都优于已有方法,并支持用户对语义和风格的控制。

HN 为什么提它

评论者认为 SPADE 的效果比以往方法好不少,并在有新工具重新包装这项研究时提醒原论文早已发表,建议直接读原文。

方法难度 3 / 5约 40 分钟经得起时间
读之前最好知道
1卷积神经网络与归一化层(batch norm)
2生成对抗网络(GAN)
3语义分割图
4条件图像生成

学习路径

读这篇之前,按顺序读书架上的 6 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

SPADE 站在 GAN、条件图像翻译和风格化归一化这几条线之上,先补这几块,再看它如何用语义布局调制归一化层。

  1. 1
    Generative Adversarial Networks生成对抗网络 · 2014

    SPADE 是一个条件 GAN,需要先懂生成器与判别器博弈的基本框架。

    读理解对抗目标函数和训练过程;理论证明可略。

  2. 2
    Unsupervised Representation Learning with Deep Convolutional Generative Adversarial Networks用深度卷积生成对抗网络进行无监督表示学习(DCGAN) · 2015

    DCGAN 的卷积生成器设计是后续图像 GAN 的通用骨架。

    读抓住卷积架构约束与批归一化的使用。

  3. 3
    Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift批归一化:通过减少内部协变量偏移加速深度网络训练 · 2015

    SPADE 的出发点是改造归一化层,必须先理解批归一化做了什么。

    读理解按通道归一化再用可学习的缩放与平移还原的机制。

  4. 4

    pix2pix 是语义图到图像合成的直接前驱,SPADE 的主要对比对象。

    读理解条件 GAN 如何把输入图直接送入网络,以及它的局限。

  5. 5
    A Style-Based Generator Architecture for Generative Adversarial Networks基于风格的生成对抗网络生成器架构(StyleGAN) · 2018

    StyleGAN 用风格信号调制特征的思路与 SPADE 的调制有可比性。

    读抓住用外部信号调制各层特征的思路;对比 SPADE 的空间自适应调制。

  6. 6

    BigGAN 展示了大规模条件 GAN 的训练技巧,是高保真合成的参照。

    读了解条件信息如何进入生成器与规模化训练的要点;细节略读。

  7. 7
    Semantic Image Synthesis with Spatially-Adaptive Normalization基于空间自适应归一化的语义图像合成 · 2019 · 就是这篇

    用语义布局预测逐像素的缩放与偏置,调制归一化层,避免语义信息被洗掉。

    读抓住 SPADE 层的定义、与批归一化的区别,以及生成器的整体结构。

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
推荐tonygrue · 2019-03

“leading to results quite a bit nicer than previous ones”

称其结果比之前的工作好不少
Nvidia AI turns sketches into photorealistic landscapes in seconds原评论 ↗
推荐czr · 2020-02

“would recommend to read the original Semantic Image Synthesis with Spatially-Adaptive Normalization”

建议直接读这篇原论文
Understanding GauGAN Part 1原评论 ↗
引用tmabraham · 2021-06

“it was indeed published two year ago, they just apparently repackaged this as an easier-to-use tool”

指出它两年前就发表了,新工具只是重新打包得更易用
Nvidia Canvas原评论 ↗