“One of my favorite related papers: Unsupervised Image-to-Image Translation Networks”
Unsupervised Image-to-Image Translation Networks
基于共享隐空间假设的无监督跨域图像翻译框架 UNIT
论文研究无监督图像到图像翻译:只有各个域的边缘分布图像,如何学到联合分布。作者提出共享隐空间假设,并据此基于 Coupled GAN 构建翻译框架,在街景、动物和人脸等任务上给出高质量翻译结果,也可用于域适应并在基准数据集上取得当时最好的表现。
HN 评论者把它当作无监督图像翻译的代表论文,并有人指出某个换脸演示的流程就是基于这篇论文。
学习路径
读这篇之前,按顺序读书架上的 5 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出这条路径从 VAE 和 GAN 的基础模型出发,经过有监督与无监督的图像翻译工作,最后读基于共享隐空间的 UNIT。
- 1
- 2
卷积式 GAN 的标准架构,是 UNIT 中生成器与判别器设计的基础。
读给 GAN 加架构约束的具体规则,以及学到的隐空间性质。
- 3
有监督配对数据下的图像翻译,是无监督翻译要摆脱的前提,也是比较对象。
读条件 GAN 加 L1 损失的整体设置,以及需要成对数据这一限制。
- 4
较早的无监督跨域翻译尝试,目标论文要从另一个假设出发解决同一问题。
读如何用未配对数据学习两个域之间的映射,以及一对一对应约束的做法。
- 5
同期的无监督翻译方法,用循环一致性约束,与 UNIT 的共享隐空间假设形成对照。
读循环一致性损失的定义,对比它与共享隐空间假设各自的约束方式。
- 6Unsupervised Image-to-Image Translation Networks
目标论文:用共享隐空间假设,基于 Coupled GAN 做无监督图像翻译。
读共享隐空间假设的含义,VAE 与 GAN 结合的框架,以及与其他方法的比较。
HN 书评
推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及“Apparently, the face-swapping is accomplished following "Unsupervised Image-to-Image Translation Networks" (paper: Unsupervised Image-to-Image Translation Networks video: [LINK])”
- Unsupervised Image-To-Image Translation Networks ↗Dim25 · 2017-03-05 · 3 分