按年被提到
20162016 · 5 次2026
视觉、语音与图像生成›图像与视频生成·arXiv:1606.03073 · cs.CV

Convolutional Sketch Inversion

卷积式素描反演
Yağmur Güçlütürk, Umut Güçlü, Rob van Lier, Marcel A. J. van Gerven · 2016

用深度网络把人脸素描还原成逼真的人脸照片

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 5 人首次 2016-06-13 · 最近 2016-10-02
5不同的人
3活跃月份
5讨论串
59被引(OpenAlex)

论文用深度神经网络把人脸素描反演为逼真的人脸图像。作者先在现有无约束人脸数据集的基础上,构建包含大量不同风格的计算机生成素描及对应人脸图像的半模拟数据集,再结合 batch normalization、残差学习、感知损失和随机优化,训练出在计算机生成素描和手绘素描上都达到当时最佳结果的模型,并展示其在美术和法医绘画中的潜在应用。与基于图像块的方法不同,它可用于野外条件下的素描。

HN 为什么提它

HN 上的人引用它作为一个例子,说明深度网络已经能由人脸素描生成照片,并配有艺术家画像的展示。

方法难度 3 / 5约 30 分钟有时效性
读之前最好知道
1卷积神经网络与残差网络(ResNet)
2感知损失(perceptual loss)
3批归一化(batch normalization)
4图像到图像转换

学习路径

读这篇之前,按顺序读书架上的 5 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

这条路径帮你建立 VGG 特征、批归一化、残差网络和感知损失的基础,再看如何把它们用在素描到人脸的反演上。

  1. 1
    Very Deep Convolutional Networks for Large-Scale Image Recognition面向大规模图像识别的极深卷积网络 · 2014

    感知损失所用的特征网络是 VGG,需要先了解它的结构。

    读3x3 卷积堆叠的整体设计,以及各层特征的含义。

  2. 2
    Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift批归一化:通过减少内部协变量偏移加速深度网络训练 · 2015

    本文明确使用批归一化来加速训练。

    读批归一化的计算方式及其对训练的影响。

  3. 3
    Deep Residual Learning for Image Recognition用于图像识别的深度残差学习 · 2015

    本文的反演网络用到残差学习。

    读残差块的结构与作用。

  4. 4
    A Neural Algorithm of Artistic Style艺术风格的神经算法 · 2015

    神经风格迁移用深度特征分离内容与风格,是感知损失的思想来源。

    读内容损失与风格(Gram 矩阵)损失的定义。

  5. 5
    Perceptual Losses for Real-Time Style Transfer and Super-Resolution用于实时风格迁移与超分辨率的感知损失 · 2016

    感知损失用于训练前馈网络做图像变换,本文直接采用。

    读特征重建损失的定义,以及用它训练前馈变换网络。

  6. 6
    Convolutional Sketch Inversion卷积式素描反演 · 2016 · 就是这篇

    目标论文:用深度网络把人脸素描反演为逼真人脸,结合上述技术训练。

    读半模拟数据集的构造,网络结构与感知损失的使用,以及手绘素描上的效果。

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用DanielleMolloy · 2016-10

“This is a recent paper that actually creates photos from sketches of faces, using deep nets:”

分享用深度网络从人脸素描生成照片的近期论文
The Sketchy Database: Learning to Retrieve Badly Drawn Bunnies原评论 ↗
被提交为 story · 4 次