按年被提到
20172017 · 2 次2026
视觉、语音与图像生成›图像与视频生成·arXiv:1703.00848 · cs.CV

Unsupervised Image-to-Image Translation Networks

无监督图像到图像翻译网络
Ming-Yu Liu, Thomas Breuel, Jan Kautz · 2017

基于共享隐空间假设的无监督跨域图像翻译框架 UNIT

开始阅读 ↗PDFalphaXiv 讨论
被推荐 · 3 人首次 2017-03-05 · 最近 2019-12-16
3不同的人
3活跃月份
3讨论串
2,121被引(OpenAlex)

论文研究无监督图像到图像翻译:只有各个域的边缘分布图像,如何学到联合分布。作者提出共享隐空间假设,并据此基于 Coupled GAN 构建翻译框架,在街景、动物和人脸等任务上给出高质量翻译结果,也可用于域适应并在基准数据集上取得当时最好的表现。

HN 为什么提它

HN 评论者把它当作无监督图像翻译的代表论文,并有人指出某个换脸演示的流程就是基于这篇论文。

方法难度 3 / 5约 45 分钟经得起时间
读之前最好知道
1生成对抗网络(GAN)
2变分自编码器(VAE)
3卷积神经网络
4联合分布与边缘分布

学习路径

读这篇之前,按顺序读书架上的 5 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

这条路径从 VAE 和 GAN 的基础模型出发,经过有监督与无监督的图像翻译工作,最后读基于共享隐空间的 UNIT。

  1. 1
    Auto-Encoding Variational Bayes自编码变分贝叶斯 · 2013

    UNIT 的编码器、解码器部分采用 VAE,需要先理解重参数化与变分下界。

    读重参数化技巧与变分下界的构成;先抓概念,推导略读。

  2. 2
    Unsupervised Representation Learning with Deep Convolutional Generative Adversarial Networks用深度卷积生成对抗网络进行无监督表示学习(DCGAN) · 2015

    卷积式 GAN 的标准架构,是 UNIT 中生成器与判别器设计的基础。

    读给 GAN 加架构约束的具体规则,以及学到的隐空间性质。

  3. 3

    有监督配对数据下的图像翻译,是无监督翻译要摆脱的前提,也是比较对象。

    读条件 GAN 加 L1 损失的整体设置,以及需要成对数据这一限制。

  4. 4

    较早的无监督跨域翻译尝试,目标论文要从另一个假设出发解决同一问题。

    读如何用未配对数据学习两个域之间的映射,以及一对一对应约束的做法。

  5. 5
    Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks使用循环一致对抗网络的非配对图像到图像翻译 · 2017

    同期的无监督翻译方法,用循环一致性约束,与 UNIT 的共享隐空间假设形成对照。

    读循环一致性损失的定义,对比它与共享隐空间假设各自的约束方式。

  6. 6
    Unsupervised Image-to-Image Translation Networks无监督图像到图像翻译网络 · 2017 · 就是这篇

    目标论文:用共享隐空间假设,基于 Coupled GAN 做无监督图像翻译。

    读共享隐空间假设的含义,VAE 与 GAN 结合的框架,以及与其他方法的比较。

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
推荐claytonius · 2019-12

“One of my favorite related papers: Unsupervised Image-to-Image Translation Networks”

推荐为自己最喜欢的相关论文之一
Creating a deepfake took two weeks and cost $552原评论 ↗
引用clickok · 2017-12

“Apparently, the face-swapping is accomplished following "Unsupervised Image-to-Image Translation Networks" (paper: Unsupervised Image-to-Image Translation Networks video: [LINK])”

指出换脸流程据称是基于这篇翻译论文
AI-Assisted Fake Porn Is Here原评论 ↗
被提交为 story · 1 次