“If you are interested in how it compares to bicubic or the original. Check these papers using the sub pixel convolutional layer: [OTHER_PAPER] Photo-Realistic Single Image Super-Resolution Using a Generative Adversarial Network.”
Photo-Realistic Single Image Super-Resolution Using a Generative Adversarial Network
SRGAN:用对抗损失和感知损失做 4 倍照片级超分
论文提出 SRGAN,据称是首个能在 4 倍放大下推断出照片级自然图像的 GAN 超分辨率框架。它用由对抗损失和内容损失组成的感知损失函数:判别器把结果推向自然图像流形,内容损失基于感知相似度而非像素空间相似度。平均意见得分(MOS)测试显示,SRGAN 的得分比任何最先进方法都更接近原始高分辨率图像。
评论者把它当作神经网络放大图像、生成更多细节的例子,并指出 PSNR/SSIM 会惩罚锐利细节、低估这类方法,也有人批评它占内存大、运行慢。
学习路径
读这篇之前,按顺序读书架上的 7 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出先理解 SRCNN 的端到端超分和 VGG 特征,再看感知损失、DCGAN 与残差网络,才能读懂 SRGAN 为何用对抗损失加感知损失来恢复高频纹理。
- 1
SRCNN 是用卷积网络做超分的开端,SRGAN 要在它的基础上解决只优化 MSE 导致的模糊。
读低分辨率到高分辨率的端到端映射与均方误差损失;留意它得到的结果为何偏平滑。
- 2
SRGAN 的生成器用到亚像素卷积做上采样,这篇是出处。
读亚像素卷积层(pixel shuffle)的概念,以及它为何比反卷积高效。
- 3
SRGAN 的感知损失在预训练 VGG 的特征图上计算。
读整体结构,特别是各层特征图的位置;不需要细看训练设置。
- 4
- 5
直接提出用预训练网络的特征做感知损失并用于超分辨率,SRGAN 的内容损失沿用这一思路。
读特征重建损失的定义,以及它在超分任务上的效果。
- 6
给出训练稳定的卷积 GAN 架构准则,SRGAN 的判别器依循这套设计。
读DCGAN 的架构约束:去掉池化、使用批归一化和 LeakyReLU 等。
- 7
- 8Photo-Realistic Single Image Super-Resolution Using a Generative Adversarial Network
目标论文:SRGAN,用对抗损失加感知损失做 4 倍照片级超分辨率。
读感知损失由内容损失和对抗损失组成,以及用平均意见分(MOS)评估而非只看 PSNR。
HN 书评
推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及“It uses a GAN topology for some impressive results, but is incredibly memory intensive and can take a very long time to run.”
“The pic with the boat on page 13 is interesting.”
“But neural net super resolution generators can still have significantly more detail at 4-8x, as shown here”
“Many recent papers do a comparison in terms of pixel similarity (PSNR/SSIM), and using those metrics the quality drops because high-frequency detail is punished under those criteria (even though it may look better perceptually).”
“We have a few papers, like SRGAN or AffGAN ([OTHER_PAPER]) that generate pretty interesting context-aware textures.”
看全部 8 条 →
- Photo-Realistic Single Image Super-Resolution ↗simonster · 2016-09-16 · 1 分
- Photo-Realistic Single Image Super-Resolution Using a Adversarial Network ↗gwern · 2017-02-19 · 2 分