按年被提到
20182019 · 2 次2026
视觉、语音与图像生成›图像与视频生成·arXiv:1811.12373 · cs.CV

Diverse Image Synthesis from Semantic Layouts via Conditional IMLE

基于条件 IMLE 的语义布局多样化图像合成
Ke Li, Tianhao Zhang, Jitendra Malik · 2018

用 IMLE 而非 GAN,从同一语义分割图生成任意多张外观各异的图像

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 3 人首次 2018-12-02 · 最近 2019-10-13
3不同的人
3活跃月份
3讨论串
90被引(OpenAlex)

现有条件图像合成方法对同一输入通常只能生成一张或固定数量的合理图像。论文针对由语义分割图生成图像的问题,提出基于隐式最大似然估计(IMLE)而非 GAN 的方法,可以对同一语义布局生成任意多张外观多样的图像。与领先方法相比,在架构相同的前提下,它生成的图像更多样且伪影更少,学到的隐空间在没有额外监督的情况下也有合理结构。

HN 为什么提它

评论者在讨论图像比较所用的度量时引用它,指出其采用与 StyleGAN 相同的 VGG 感知损失(见论文 3.5 节)。

方法难度 4 / 5约 45 分钟经得起时间
读之前最好知道
1生成对抗网络(GAN)
2条件图像合成
3语义分割
4最大似然估计(maximum likelihood estimation)
5VGG 感知损失(perceptual loss)

学习路径

读这篇之前,按顺序读书架上的 4 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

先理解用感知损失与对抗网络做图像翻译的做法,再看这篇如何改用 IMLE 从同一语义图生成多样图像。

  1. 1
    Very Deep Convolutional Networks for Large-Scale Image Recognition面向大规模图像识别的极深卷积网络 · 2014

    VGG 特征是感知损失的基础,本文同样依赖预训练 VGG 特征。

    读只需了解 VGG 逐层特征的作用,不必看分类实验。

  2. 2
    Perceptual Losses for Real-Time Style Transfer and Super-Resolution用于实时风格迁移与超分辨率的感知损失 · 2016

    感知损失用预训练网络特征衡量图像相似度,是本文这类方法的常用目标。

    读抓感知损失如何用特征距离训练前馈图像生成网络。

  3. 3

    pix2pix 是从语义图合成图像的条件 GAN 基线,本文要改进它的单一输出。

    读抓条件 GAN 的输入输出设定,以及它为何对同一输入只给单个结果。

  4. 4
    Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks使用循环一致对抗网络的非配对图像到图像翻译 · 2017

    了解 GAN 式图像翻译的另一种形式,帮助对照本文放弃 GAN 的动机。

    读抓循环一致性思想,并留意 GAN 训练的模式坍塌问题。

  5. 5
    Diverse Image Synthesis from Semantic Layouts via Conditional IMLE基于条件 IMLE 的语义布局多样化图像合成 · 2018 · 就是这篇

    用 IMLE 而非 GAN,从同一语义图生成任意多张外观各异的图像。

    读抓条件 IMLE 的目标,以及它如何避免模式坍塌、带来多样性。

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用sillysaurusx · 2019-10

“For comparing images, I believe they use the standard VGG perceptual loss metric that StyleGAN uses. (See section 3.5 of Diverse Image Synthesis from Semantic Layouts via Conditional IMLE)”

引用 StyleGAN 的相关章节,说明比较图像时用的感知损失
Deep Learning with PyTorch: A 60 Minute Blitz [video]原评论 ↗
被提交为 story · 2 次