“IMO the authors here responded to this correctly.”
PULSE: Self-Supervised Photo Upsampling via Latent Space Exploration of Generative Models
在生成模型潜空间中搜索能缩小回原图的高分辨率人脸
提出 PULSE,把超分辨率改写为“生成逼真且缩小后能还原为低分辨率输入的高分辨率图像”,无需成对的 LR-HR 监督训练,也不限于特定降质算子。它通过“降采样损失”在生成模型的潜空间中搜索,并利用高维高斯的性质约束搜索空间;论文以人脸为概念验证,并附带讨论了局限与偏见。
它在 HN 上主要因偏见争议被反复提及:评论者拿它说明训练数据(CelebA-HQ)带来的偏见,如把低分辨率的奥巴马照片还原成白人面孔,也提到作者后来的回应。
学习路径
读这篇之前,按顺序读书架上的 6 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出先理解 GAN 与 StyleGAN 的潜空间生成,再看超分辨率的监督方法和深度图像先验,最后读 PULSE 如何在潜空间里搜索能缩小回原图的人脸。
- 1
- 2
StyleGAN 的前身,PULSE 用的高清人脸生成器沿用其渐进训练思路
读从低分辨率逐层增长的训练过程
- 3
PULSE 在 StyleGAN 的潜空间里搜索,需要了解它的潜空间结构
读映射网络、风格输入与潜空间的分层控制;不必细看数据集部分
- 4
监督式超分辨率的代表,也是 PULSE 要对比的传统路线
读低分辨率到高分辨率的端到端映射,以及像素级损失为什么会模糊
- 5
引入对抗损失的超分辨率,与 PULSE 追求逼真图像的目标相近
读对抗损失和感知损失如何让结果更逼真
- 6
- 7PULSE: Self-Supervised Photo Upsampling via Latent Space Exploration of Generative Models
目标论文:在生成模型潜空间中搜索缩小回原图的高分辨率人脸
读下采样一致性这一目标、潜空间中的搜索方式,以及与监督方法的对比
HN 书评
推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及“One of the underlying models, PULSE, was trained on CelebAHQ, which is likely what the results are mostly white-looking.”
“The underlying (racially biased) superresolution algorithm was called PULSE”
“Though Pulse is still remembered for this bias, not for how they responded to it.”
“The actual paper can be found at PULSE”
“It's from an algorithm called PULSE. It seems to search the latent space of StyleGAN to find a face that compresses to something similar to the query image.”