按年被提到
20172017 · 1 次2026
视觉、语音与图像生成›图像与视频生成·arXiv:1703.10593 · cs.CV

Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks

使用循环一致对抗网络的非配对图像到图像翻译
Jun-Yan Zhu, Taesung Park, Phillip Isola, Alexei A. Efros · 2017

CycleGAN:无需成对样本,用循环一致性损失做图像域转换

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 3 人首次 2017-04-01 · 最近 2019-01-01
3不同的人
3活跃月份
3讨论串
23,711被引(OpenAlex)

图像到图像翻译通常需要对齐的成对训练数据,但很多任务并没有。论文提出在没有成对样本时学习从源域 X 到目标域 Y 的映射 G,用对抗损失使 G(X) 的分布与 Y 无法区分,由于这一映射约束不足,再配上逆映射 F 并引入循环一致性损失,使 F(G(X))≈X(反之亦然)。在风格迁移、物体变形、季节转换、照片增强等没有成对数据的任务上给出定性结果,并与多种先前方法做了定量比较。

HN 为什么提它

评论者引用论文的“局限与讨论”一节及图 17 的失败案例,也用图 4 说明 CycleGAN 的输出会把输入信息“记住”。

方法难度 3 / 5约 45 分钟经得起时间
读之前最好知道
1生成对抗网络(GAN)
2卷积神经网络(CNN)
3图像到图像翻译(pix2pix)
4对抗损失与重建损失

学习路径

读这篇之前,按顺序读书架上的 6 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

这条路径从 GAN 的卷积架构讲起,经过感知损失与条件对抗翻译,到无监督翻译 UNIT,建立理解 CycleGAN 为何要加循环一致性所需的背景。

  1. 1
    Unsupervised Representation Learning with Deep Convolutional Generative Adversarial Networks用深度卷积生成对抗网络进行无监督表示学习(DCGAN) · 2015

    CycleGAN 的生成器和判别器沿用 DCGAN 式的卷积 GAN 设计。

    读给 GAN 加的架构约束:步长卷积、批归一化、去掉全连接层;理解对抗训练的基本形式。

  2. 2
    Deep Residual Learning for Image Recognition用于图像识别的深度残差学习 · 2015

    CycleGAN 的生成器由残差块堆成。

    读残差块的结构与恒等跳连的作用,不必读 ImageNet 实验。

  3. 3
    Perceptual Losses for Real-Time Style Transfer and Super-Resolution用于实时风格迁移与超分辨率的感知损失 · 2016

    它是用前馈网络做图像风格变换的前作,CycleGAN 的生成器结构借鉴自此,也说明了损失设计的思路。

    读前馈转换网络的结构与感知损失的思想;对比 CycleGAN 为什么不用预训练网络的特征损失。

  4. 4

    它用对图像块判别的马尔可夫判别器做纹理合成,CycleGAN 的判别器沿用了这种思路。

    读基于局部图像块的判别器概念;理解为什么块判别器适合处理任意尺寸图像。

  5. 5

    pix2pix 是需要成对数据的条件对抗翻译,CycleGAN 要解决的正是它去掉配对后的问题。

    读条件 GAN 的损失加 L1 损失的组合,以及 PatchGAN 判别器;弄清配对数据在其中起什么作用。

  6. 6
    Unsupervised Image-to-Image Translation Networks无监督图像到图像翻译网络 · 2017

    UNIT 是同期的无监督翻译方法,基于共享隐空间假设,与循环一致性是不同的约束思路。

    读共享隐空间假设与 VAE 加 GAN 的结构;与目标论文的循环约束做对比。

  7. 7
    Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks使用循环一致对抗网络的非配对图像到图像翻译 · 2017 · 就是这篇

    读完前置后再看如何用循环一致性损失在没有配对数据时学习映射。

    读对抗损失加前向、后向循环一致性损失的构造;各种翻译任务的结果,以及失败案例分析。

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用aisofteng · 2017-04

“The quote is from Section 6 ("Limitations and Discussion"), and example "limitations" are given in Figure 17.”

指出引文出自论文第 6 节,失败案例见图 17
Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks原评论 ↗
引用soraki_soladead · 2019-01

“This was pretty clear from the original CycleGAN paper[0] (figure 4; bottom row)”

指出 CycleGAN 原论文图 4 下排已显示它会记住输入
This clever AI hid data from its creators to cheat at its appointed task原评论 ↗
被提交为 story · 1 次