引用DanielleMolloy · 2016-10
“This is a recent paper that actually creates photos from sketches of faces, using deep nets:”
分享用深度网络从人脸素描生成照片的近期论文
用深度网络把人脸素描还原成逼真的人脸照片
论文用深度神经网络把人脸素描反演为逼真的人脸图像。作者先在现有无约束人脸数据集的基础上,构建包含大量不同风格的计算机生成素描及对应人脸图像的半模拟数据集,再结合 batch normalization、残差学习、感知损失和随机优化,训练出在计算机生成素描和手绘素描上都达到当时最佳结果的模型,并展示其在美术和法医绘画中的潜在应用。与基于图像块的方法不同,它可用于野外条件下的素描。
HN 上的人引用它作为一个例子,说明深度网络已经能由人脸素描生成照片,并配有艺术家画像的展示。
这条路径帮你建立 VGG 特征、批归一化、残差网络和感知损失的基础,再看如何把它们用在素描到人脸的反演上。
感知损失所用的特征网络是 VGG,需要先了解它的结构。
读3x3 卷积堆叠的整体设计,以及各层特征的含义。
本文明确使用批归一化来加速训练。
读批归一化的计算方式及其对训练的影响。
感知损失用于训练前馈网络做图像变换,本文直接采用。
读特征重建损失的定义,以及用它训练前馈变换网络。
目标论文:用深度网络把人脸素描反演为逼真人脸,结合上述技术训练。
读半模拟数据集的构造,网络结构与感知损失的使用,以及手绘素描上的效果。
“This is a recent paper that actually creates photos from sketches of faces, using deep nets:”