“Remember back in the old days of November 2016 when people said neural networks could never be creative....”
StackGAN: Text to Photo-realistic Image Synthesis with Stacked Generative Adversarial Networks
两阶段堆叠 GAN:先画草图再细化,由文字生成 256x256 图像
论文提出堆叠式生成对抗网络(StackGAN),根据文本描述生成 256x256 的逼真图像,用“草图加细化”把难题分解成更易处理的子问题:第一阶段 GAN 依据文本勾勒物体的基本形状和颜色,得到低分辨率图像;第二阶段 GAN 以第一阶段结果和文本为输入,修正缺陷并补充细节,生成高分辨率图像。作者还引入条件增强(Conditioning Augmentation)来提高样本多样性并稳定条件 GAN 的训练,在基准数据集上相对已有方法有显著提升。
输入里没有提供评论摘录,只能看出它在 2016 到 2017 年间被 7 位不同的人在 4 个月里被提及。
学习路径
读这篇之前,按顺序读书架上的 5 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出这条路径帮我建立 GAN 的稳定训练、条件文本生成和 GAN 超分的基础,StackGAN 在此之上做两阶段的草图到细化。
- 1
残差块被用在 StackGAN 的生成器里,这里只需要掌握它的结构。
读抓残差连接的形式,不必细读 ImageNet 实验。
- 2
给 GAN 加上卷积架构约束,是 StackGAN 上下采样结构的基础。
读抓生成器与判别器的架构准则,如反卷积上采样和批归一化。
- 3
GAN 训练不稳定,这篇给出一套训练技巧和评估思路。
读抓特征匹配、小批量判别等技巧,以及 Inception Score 的做法。
- 4
StackGAN 要改进的就是这种一阶段的文本到图像 GAN,它也提供了文本嵌入的条件方式。
读抓用文本嵌入作条件的生成器与判别器设计,以及它只能生成低分辨率图的局限。
- 5
用 GAN 做图像超分,与 StackGAN 第二阶段补细节的目标相近。
读抓对抗损失加内容损失的训练方式。
- 6StackGAN: Text to Photo-realistic Image Synthesis with Stacked Generative Adversarial Networks
把文本到图像分成两阶段:先出草图,再用文本和草图细化出 256x256 图像。
读抓两阶段 GAN 的结构、条件增强的作用,以及与一阶段方法的对比实验。
HN 书评
没有评论直接链到它;下面是它被提交的讨论串里回复最多的评论(不计入统计)“The Github page shows a nice overview and some examples: https://github.com/hanzhanggit/StackGAN. Interestingly it seems to struggle with the birds' legs (e.g. merging them with branches, blurring them or just not generating them). Is this is a problem with the size of the feature or the colors or...? I know very little about this field but I find it fas…”
“Some interesting limitations here, but overall great work. The output is only 256x256, which doesn't seem useful in the short run. It would be interesting to see if there was another deep learning network that could fill in the pixels and net a higher resolution. It also looks like it uses models specifically trained for that given category (i.e. birds, f…”
- StackGAN: Text to Photo-Realistic Image Synthesis with Stacked GANs ↗atomroflbomber · 2016-12-13 · 3 分
- StackGan: Text to Photo-Realistic Image Synthesis ↗britishsheep · 2016-12-14 · 3 分
- StackGAN: Photo-Realistic Image Synthesis with Generative Adversarial Networks ↗lars · 2016-12-21 · 2 分
- Text to Image Synthesis with Stacked Generative Adversarial Networks ↗cryptoz · 2016-12-29 · 2 分
- Text to Photo-Realistic Image Synthesis with Stacked GANs ↗jweissman · 2017-01-05 · 3 分
- StackGAN: Text to Photo-Realistic Image Synthesis ↗gwern · 2017-02-26 · 2 分