按年被提到
20172017 · 6 次2026
视觉、语音与图像生成›图像与视频生成·arXiv:1705.01088 · cs.CV

Visual Attribute Transfer through Deep Image Analogy

基于深度图像类比的视觉属性迁移
Jing Liao, Yuan Yao, Lu Yuan, Gang Hua, Sing Bing Kang · 2017

用深度特征匹配的图像类比,在语义相近的图像间迁移颜色与风格

开始阅读 ↗PDFalphaXiv 讨论
被推荐 · 6 人首次 2017-05-03 · 最近 2017-11-14
6不同的人
3活跃月份
6讨论串
484被引(OpenAlex)

论文提出一种在外观差异很大但语义结构相似的图像之间迁移视觉属性(颜色、色调、纹理、风格等)的新技术。它借用「图像类比」的概念,用深度卷积网络提取的特征去匹配,找到语义上有意义的稠密对应关系,并以由粗到细的策略计算最近邻场来生成结果。作者在风格或纹理迁移、颜色或风格互换、素描或绘画转照片和延时摄影等多种情形下验证了效果。

HN 为什么提它

评论者称它简单而强大、效果超过其他方法,同时觉得对深度学习的炒作有些过头;也有人拿它生成的精修 CG 蒙娜丽莎举例。

方法难度 3 / 5约 40 分钟经得起时间
读之前最好知道
1卷积神经网络的特征提取
2图像类比(image analogy)
3最近邻场与 PatchMatch
4神经风格迁移基础

学习路径

读这篇之前,按顺序读书架上的 6 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

这条路径帮你建立 CNN 特征层级、神经风格迁移以及基于特征匹配的图像合成的前置知识,再看深度图像类比如何建立语义对应。

  1. 1
    Visualizing and Understanding Convolutional Networks卷积网络的可视化与理解 · 2013

    说明不同层卷积特征从低层纹理到高层语义的层级,深度图像类比正是在这种特征上做匹配。

    读读各层特征可视化的结论:浅层偏边缘纹理,深层偏语义部件。

  2. 2
    Very Deep Convolutional Networks for Large-Scale Image Recognition面向大规模图像识别的极深卷积网络 · 2014

    VGG 是该方法和多数风格迁移工作所使用的特征提取网络。

    读抓网络的层次结构,了解各层特征图尺寸。

  3. 3

    用 CNN 特征的 Gram 矩阵统计描述纹理,是神经风格迁移的前身。

    读读用特征相关性(Gram 矩阵)表示纹理的方法。

  4. 4
    A Neural Algorithm of Artistic Style艺术风格的神经算法 · 2015

    内容与风格分离的神经风格迁移,是深度图像类比要对比和改进的基线。

    读读内容损失与风格损失的定义,思考它为何难处理语义对应。

  5. 5
    Combining Markov Random Fields and Convolutional Neural Networks for Image Synthesis结合马尔可夫随机场与卷积神经网络的图像合成 · 2016

    用 MRF 在特征空间按块匹配约束风格化,与基于块匹配的对应思路相近。

    读读特征块(patch)最近邻匹配的 MRF 风格项。

  6. 6
    Perceptual Losses for Real-Time Style Transfer and Super-Resolution用于实时风格迁移与超分辨率的感知损失 · 2016

    感知损失用预训练网络的特征衡量图像差异,是同类特征空间方法。

    读读感知损失的定义和实时风格迁移的网络,理解特征空间度量。

  7. 7
    Visual Attribute Transfer through Deep Image Analogy基于深度图像类比的视觉属性迁移 · 2017 · 就是这篇

    在深度特征上建立语义对应,并在语义相近的图像间迁移颜色与风格。

    读重点读图像类比的深度特征版本:最近邻场搜索、从深层到浅层的由粗到细对应以及特征重构。

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
强烈推荐projectorlochsa · 2017-05

“I admit that Visual Attribute Transfer through Deep Image Analogy this beats everything and is extremely powerful and simple but the hype for deep things seems a bit too strong.”

承认这个方法简单强大胜过一切,但觉得对深度学习的炒作过头
Deep Learning’s Impact on Image Processing, Mathematics, and Humanity原评论 ↗
推荐tanilama · 2017-11

“Those are all good papers.”

称包括深度图像类比在内的几篇都是好论文
China is catching up to the USA, while Japan is being left behind原评论 ↗
引用visarga · 2017-09

“(this paper even shows a refined CG Mona Lisa)”

指出论文里甚至展示了一幅精修的 CG 蒙娜丽莎
Real-Time Global Illumination by Precomputed Local Reconstruction原评论 ↗
被提交为 story · 3 次