按年被提到
20162017 · 3 次2026
视觉、语音与图像生成›超分辨率与图像压缩·arXiv:1603.08155 · cs.CV

Perceptual Losses for Real-Time Style Transfer and Super-Resolution

用于实时风格迁移与超分辨率的感知损失
Justin Johnson, Alexandre Alahi, Li Fei-Fei · 2016

用预训练网络的特征损失训练前馈网络,实现实时风格迁移

开始阅读 ↗PDFalphaXiv 讨论
被推荐 · 4 人首次 2016-07-10 · 最近 2017-10-02
4不同的人
4活跃月份
4讨论串
11,247被引(OpenAlex)

针对图像到图像的变换任务,把逐像素损失换成基于预训练网络高层特征的感知损失,来训练前馈卷积网络。在风格迁移上,前馈网络的效果与 Gatys 等人基于优化的方法相近,但速度快约三个数量级;在单图超分辨率上,感知损失也带来更悦目的结果。

HN 为什么提它

HN 评论者多把它当作快速神经风格迁移的实现基础,用来解释实时风格迁移 demo 如何预先算好风格模型,也引作超分辨率思路的例子。

方法难度 3 / 5约 40 分钟经得起时间
读之前最好知道
1卷积神经网络(CNN)
2神经风格迁移(Gatys et al.)
3图像超分辨率
4损失函数与反向传播

学习路径

读这篇之前,按顺序读书架上的 5 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

这条路径帮我建立“用预训练分类网络的特征做损失”的前置知识:先懂 VGG 特征,再懂 Gatys 的内容/风格重建,最后看前馈网络如何把它们摊销成实时推理。

  1. 1
    Very Deep Convolutional Networks for Large-Scale Image Recognition面向大规模图像识别的极深卷积网络 · 2014

    感知损失里的损失网络就是在 ImageNet 上预训练的 VGG,特征取自它的中间层。

    读看 16/19 层的结构和各卷积块的划分,弄清 relu 层特征对应的层级;分类实验部分可略读。

  2. 2

    风格损失用的 Gram 矩阵来自这条纹理合成工作。

    读抓 Gram 矩阵如何描述纹理统计,以及多层特征匹配的做法。

  3. 3
    A Neural Algorithm of Artistic Style艺术风格的神经算法 · 2015

    目标论文要加速的正是 Gatys 的逐图优化式风格迁移,内容损失和风格损失也沿用它。

    读抓内容重建与风格重建的定义,以及逐图像优化为什么慢。

  4. 4
    Image Super-Resolution Using Deep Convolutional Networks用深度卷积网络做图像超分辨率 · 2014

    超分辨率部分以 SRCNN 的逐像素损失训练为对照基线。

    读看 SRCNN 的三层结构和 MSE 损失,理解逐像素损失的局限。

  5. 5
    Deep Residual Learning for Image Recognition用于图像识别的深度残差学习 · 2015

    目标论文的图像变换网络采用残差块来搭建。

    读只看残差块的结构与恒等跳连的作用,不必细读 ImageNet 实验。

  6. 6
    Perceptual Losses for Real-Time Style Transfer and Super-Resolution用于实时风格迁移与超分辨率的感知损失 · 2016 · 就是这篇

    把感知损失用于训练前馈变换网络,一次前向即可完成风格迁移与超分。

    读抓图像变换网络加损失网络的两部分结构,特征重建损失与风格重建损失的定义,以及与优化式方法的速度对比。

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
推荐nilkn · 2017-07

“there's some pretty fascinating work that's been done recently on using neural networks for style transfer:”

以神经网络风格迁移的有趣新工作为例推荐
Prisma’s next AI project is a fun selfie sticker maker called Sticky原评论 ↗
引用j2kun · 2016-07

“Then they're probably using this algorithm to precompute the style model and seriously speed up rendering: Perceptual Losses for Real-Time Style Transfer and Super-Resolution”

推测可用它预计算风格模型来大幅加速渲染
Prisma: neural-style instagram filters原评论 ↗
引用chas · 2017-03

“It seems much more straightforward to have the input of the network be noisy samples and the output be clean samples a la super resolution[0] in images.”

以图像超分辨率为例,主张输入带噪样本、输出干净样本
Deep Learning enables hearing aid wearers to pick out a voice in a crowded room原评论 ↗
引用reiinakano · 2017-10

“The paper introducing Real-Time Style Transfer is basically the algorithm used here”

指出演示基本就是用这篇的实时风格迁移算法
Show HN: Paint yourself in the style of classic art, in your browser原评论 ↗