按年被提到
20162016 · 7 次2026
视觉、语音与图像生成›超分辨率与图像压缩·arXiv:1609.04802 · cs.CV

Photo-Realistic Single Image Super-Resolution Using a Generative Adversarial Network

用生成对抗网络实现照片级单图超分辨率
Christian Ledig, Lucas Theis, Ferenc Huszar, Jose Caballero, Andrew Cunningham, Alejandro Acosta, Andrew Aitken, Alykhan Tejani, Johannes Totz, Zehan Wang, Wenzhe Shi · 2016

SRGAN:用对抗损失和感知损失做 4 倍照片级超分

开始阅读 ↗PDFalphaXiv 讨论
被推荐 · 10 人首次 2016-09-16 · 最近 2020-07-06
10不同的人
7活跃月份
8讨论串
13,089被引(OpenAlex)

论文提出 SRGAN,据称是首个能在 4 倍放大下推断出照片级自然图像的 GAN 超分辨率框架。它用由对抗损失和内容损失组成的感知损失函数:判别器把结果推向自然图像流形,内容损失基于感知相似度而非像素空间相似度。平均意见得分(MOS)测试显示,SRGAN 的得分比任何最先进方法都更接近原始高分辨率图像。

HN 为什么提它

评论者把它当作神经网络放大图像、生成更多细节的例子,并指出 PSNR/SSIM 会惩罚锐利细节、低估这类方法,也有人批评它占内存大、运行慢。

方法难度 3 / 5约 40 分钟经得起时间
读之前最好知道
1卷积神经网络与残差网络
2生成对抗网络(GAN)
3感知损失(perceptual loss)
4图像质量指标(PSNR、SSIM)

学习路径

读这篇之前,按顺序读书架上的 7 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

先理解 SRCNN 的端到端超分和 VGG 特征,再看感知损失、DCGAN 与残差网络,才能读懂 SRGAN 为何用对抗损失加感知损失来恢复高频纹理。

  1. 1
    Image Super-Resolution Using Deep Convolutional Networks用深度卷积网络做图像超分辨率 · 2014

    SRCNN 是用卷积网络做超分的开端,SRGAN 要在它的基础上解决只优化 MSE 导致的模糊。

    读低分辨率到高分辨率的端到端映射与均方误差损失;留意它得到的结果为何偏平滑。

  2. 2

    SRGAN 的生成器用到亚像素卷积做上采样,这篇是出处。

    读亚像素卷积层(pixel shuffle)的概念,以及它为何比反卷积高效。

  3. 3
    Very Deep Convolutional Networks for Large-Scale Image Recognition面向大规模图像识别的极深卷积网络 · 2014

    SRGAN 的感知损失在预训练 VGG 的特征图上计算。

    读整体结构,特别是各层特征图的位置;不需要细看训练设置。

  4. 4
    A Neural Algorithm of Artistic Style艺术风格的神经算法 · 2015

    展示了预训练 CNN 特征可以刻画图像内容与纹理,是感知损失的思想来源。

    读内容表示取自网络高层特征,风格取自特征相关性的做法。

  5. 5
    Perceptual Losses for Real-Time Style Transfer and Super-Resolution用于实时风格迁移与超分辨率的感知损失 · 2016

    直接提出用预训练网络的特征做感知损失并用于超分辨率,SRGAN 的内容损失沿用这一思路。

    读特征重建损失的定义,以及它在超分任务上的效果。

  6. 6
    Unsupervised Representation Learning with Deep Convolutional Generative Adversarial Networks用深度卷积生成对抗网络进行无监督表示学习(DCGAN) · 2015

    给出训练稳定的卷积 GAN 架构准则,SRGAN 的判别器依循这套设计。

    读DCGAN 的架构约束:去掉池化、使用批归一化和 LeakyReLU 等。

  7. 7
    Deep Residual Learning for Image Recognition用于图像识别的深度残差学习 · 2015

    SRGAN 的生成器由多个残差块堆叠而成。

    读残差块的结构;理解为什么跳跃连接适合图像到图像的映射。

  8. 8
    Photo-Realistic Single Image Super-Resolution Using a Generative Adversarial Network用生成对抗网络实现照片级单图超分辨率 · 2016 · 就是这篇

    目标论文:SRGAN,用对抗损失加感知损失做 4 倍照片级超分辨率。

    读感知损失由内容损失和对抗损失组成,以及用平均意见分(MOS)评估而非只看 PSNR。

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
推荐trustswz · 2016-10

“If you are interested in how it compares to bicubic or the original. Check these papers using the sub pixel convolutional layer: [OTHER_PAPER] Photo-Realistic Single Image Super-Resolution Using a Generative Adversarial Network.”

推荐想对比 bicubic 的人看用 sub pixel 卷积层的论文
Subpixel: A subpixel convolutional neural network implementation with Tensorflow原评论 ↗
批评shakna · 2020-07

“It uses a GAN topology for some impressive results, but is incredibly memory intensive and can take a very long time to run.”

Ask HN: What weird or hard problems are you trying to solve?原评论 ↗
引用anotheryou · 2016-10

“The pic with the boat on page 13 is interesting.”

指出第 13 页的船图很有意思
Subpixel: A subpixel convolutional neural network implementation with Tensorflow原评论 ↗
引用dharma1 · 2016-10

“But neural net super resolution generators can still have significantly more detail at 4-8x, as shown here”

指出神经网络超分辨率在 4-8 倍放大时仍能有更多细节
Neural Enhance – Super Resolution for images using deep learning原评论 ↗
引用nuclai · 2016-10

“Many recent papers do a comparison in terms of pixel similarity (PSNR/SSIM), and using those metrics the quality drops because high-frequency detail is punished under those criteria (even though it may look better perceptually).”

解释为什么 PSNR/SSIM 会低估细节丰富的超分结果
Neural Enhance – Super Resolution for images using deep learning原评论 ↗
引用fhuszar · 2016-11

“We have a few papers, like SRGAN or AffGAN ([OTHER_PAPER]) that generate pretty interesting context-aware textures.”

举 SRGAN 为例,称其能生成有趣的上下文感知纹理
RAISR Sharp Images with Machine Learning原评论 ↗
看全部 8 条 →
引用nl · 2016-12

“The second ([LINK]) is out of Berkeley, the third is out of Twitter (which I guess counts as a rich American tech company).”

指出其中一篇来自 Twitter
Major advancements in Deep Learning in 2016原评论 ↗
引用ingenter · 2017-01

“Here's a list of various image interpolation techniques:”

列出各种图像插值技术,其中包括这个 GAN 放大器
With Google's RAISR, images can be up to 75% smaller without losing detail原评论 ↗
被提交为 story · 2 次