按年被提到
20202020 · 3 次2026
视觉、语音与图像生成›超分辨率与图像压缩·arXiv:2003.03808 · cs.CV

PULSE: Self-Supervised Photo Upsampling via Latent Space Exploration of Generative Models

PULSE:通过探索生成模型潜空间实现自监督照片上采样
Sachit Menon, Alexandru Damian, Shijia Hu, Nikhil Ravi, Cynthia Rudin · 2020

在生成模型潜空间中搜索能缩小回原图的高分辨率人脸

开始阅读 ↗PDFalphaXiv 讨论
被推荐 · 4 人首次 2020-06-17 · 最近 2022-12-22
4不同的人
5活跃月份
6讨论串
554被引(OpenAlex)

提出 PULSE,把超分辨率改写为“生成逼真且缩小后能还原为低分辨率输入的高分辨率图像”,无需成对的 LR-HR 监督训练,也不限于特定降质算子。它通过“降采样损失”在生成模型的潜空间中搜索,并利用高维高斯的性质约束搜索空间;论文以人脸为概念验证,并附带讨论了局限与偏见。

HN 为什么提它

它在 HN 上主要因偏见争议被反复提及:评论者拿它说明训练数据(CelebA-HQ)带来的偏见,如把低分辨率的奥巴马照片还原成白人面孔,也提到作者后来的回应。

方法难度 3 / 5约 50 分钟经得起时间
读之前最好知道
1生成对抗网络(GAN / StyleGAN)
2图像超分辨率
3潜空间(latent space)
4数据集偏见

学习路径

读这篇之前,按顺序读书架上的 6 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

先理解 GAN 与 StyleGAN 的潜空间生成,再看超分辨率的监督方法和深度图像先验,最后读 PULSE 如何在潜空间里搜索能缩小回原图的人脸。

  1. 1
    Generative Adversarial Networks生成对抗网络 · 2014

    PULSE 依赖预训练的生成模型,这是 GAN 的基础论文

    读生成器与判别器的博弈目标;理解潜变量到图像的映射

  2. 2
    Progressive Growing of GANs for Improved Quality, Stability, and Variation渐进式增长 GAN:提升质量、稳定性与多样性 · 2017

    StyleGAN 的前身,PULSE 用的高清人脸生成器沿用其渐进训练思路

    读从低分辨率逐层增长的训练过程

  3. 3
    A Style-Based Generator Architecture for Generative Adversarial Networks基于风格的生成对抗网络生成器架构(StyleGAN) · 2018

    PULSE 在 StyleGAN 的潜空间里搜索,需要了解它的潜空间结构

    读映射网络、风格输入与潜空间的分层控制;不必细看数据集部分

  4. 4
    Image Super-Resolution Using Deep Convolutional Networks用深度卷积网络做图像超分辨率 · 2014

    监督式超分辨率的代表,也是 PULSE 要对比的传统路线

    读低分辨率到高分辨率的端到端映射,以及像素级损失为什么会模糊

  5. 5
    Photo-Realistic Single Image Super-Resolution Using a Generative Adversarial Network用生成对抗网络实现照片级单图超分辨率 · 2016

    引入对抗损失的超分辨率,与 PULSE 追求逼真图像的目标相近

    读对抗损失和感知损失如何让结果更逼真

  6. 6
    Deep Image Prior深度图像先验 · 2017

    同样是不依赖成对训练数据的逆问题思路,可与 PULSE 对照

    读网络结构本身作为图像先验的观点;看去噪和超分辨率部分

  7. 7
    PULSE: Self-Supervised Photo Upsampling via Latent Space Exploration of Generative ModelsPULSE:通过探索生成模型潜空间实现自监督照片上采样 · 2020 · 就是这篇

    目标论文:在生成模型潜空间中搜索缩小回原图的高分辨率人脸

    读下采样一致性这一目标、潜空间中的搜索方式,以及与监督方法的对比

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
推荐godelski · 2022-02

“IMO the authors here responded to this correctly.”

认为作者用偏差更小的数据集做后续实验,回应得当
Recovering redacted information from pixelated videos原评论 ↗
批评jcims · 2020-06

“One of the underlying models, PULSE, was trained on CelebAHQ, which is likely what the results are mostly white-looking.”

Facial Recognition Leads To False Arrest Of Black Man In Detroit原评论 ↗
批评jcims · 2020-07

“The underlying (racially biased) superresolution algorithm was called PULSE”

Yann LeCun quits Twitter amid acrimonious exchanges on AI bias原评论 ↗
批评godelski · 2022-05

“Though Pulse is still remembered for this bias, not for how they responded to it.”

批评 Pulse 因数据集偏差被记住,把上采样出白人 Obama 当例子
Imagen, a text-to-image diffusion model原评论 ↗
引用OkGoDoIt · 2020-06

“The actual paper can be found at PULSE”

给出 PULSE 论文原文,它通过搜索生成器潜空间来上采样人脸
Pulse: Self-Supervised Photo Upsampling via Latent Space Exploration原评论 ↗
引用potatoman22 · 2022-12

“It's from an algorithm called PULSE. It seems to search the latent space of StyleGAN to find a face that compresses to something similar to the query image.”

解释 PULSE 在 StyleGAN 潜空间中搜索人脸来放大图像
Pixelmator Pro gets a magical, AI‑powered Deband feature原评论 ↗