按年被提到
20162016 · 4 次2026
视觉、语音与图像生成›图像与视频生成·arXiv:1605.05396 · cs.NE

Generative Adversarial Text to Image Synthesis

生成对抗式文本到图像合成
Scott Reed, Zeynep Akata, Xinchen Yan, Lajanugen Logeswaran, Bernt Schiele, Honglak Lee · 2016

用 GAN 把文字描述转换成鸟和花的图像

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 4 人首次 2016-06-11 · 最近 2016-12-08
4不同的人
4活跃月份
4讨论串
2,493被引(OpenAlex)

提出一种结合文本表示学习与深度卷积 GAN 的新架构和 GAN 表述,把文字中的视觉概念转换成像素。实验表明模型能根据详细的文字描述生成合理的鸟类和花卉图像。

HN 为什么提它

评论者把它当作早期的文本生成图像 GAN 工作,在讨论图像合成时用来与后来质量更高的例子对照,或并列列出。

方法难度 3 / 5约 35 分钟经得起时间
读之前最好知道
1生成对抗网络(GAN)
2卷积神经网络
3循环神经网络与文本表示

学习路径

读这篇之前,按顺序读书架上的 3 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

这条路径先看稳定 GAN 训练的归一化技术与卷积 GAN 架构,再看早期文本到图像生成 DRAW,最后读把文本条件加入 GAN 的本文。

  1. 1
    Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift批归一化:通过减少内部协变量偏移加速深度网络训练 · 2015

    DCGAN 类架构的生成器和判别器依赖批归一化来稳定训练。

    读批归一化的计算方式,以及它在训练中的作用。

  2. 2
    Unsupervised Representation Learning with Deep Convolutional Generative Adversarial Networks用深度卷积生成对抗网络进行无监督表示学习(DCGAN) · 2015

    本文的生成器和判别器是在 DCGAN 架构上加入文本条件。

    读DCGAN 的架构约束(全卷积、批归一化、激活函数选择)以及训练细节。

  3. 3
    DRAW: A Recurrent Neural Network For Image GenerationDRAW:用于图像生成的循环神经网络 · 2015

    较早的图像生成模型,并有以文字为条件生成图像的尝试,可与 GAN 路线对照。

    读注意力式的序列绘制过程;知道它与 GAN 的生成方式不同即可。

  4. 4
    Generative Adversarial Text to Image Synthesis生成对抗式文本到图像合成 · 2016 · 就是这篇

    目标论文:用文本条件的 GAN 把文字描述转成鸟和花的图像。

    读文本编码如何作为条件输入生成器与判别器,以及匹配感知的判别器训练。

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用lars · 2016-06

“Here's a more recent example, with even higher quality images: Generative Adversarial Text to Image Synthesis”

给出画质更高的较新文本生成图像例子
AI, Deep Learning, and Machine Learning: A Primer [video]原评论 ↗
引用dietrichepp · 2016-10

“* Generative Adversarial Text to Image Synthesis: Generative Adversarial Text to Image Synthesis”

把文本生成图像 GAN 列入图像合成的工作清单
The McMansion Scale, Explained原评论 ↗
引用nl · 2016-12

“The first linked paper is out of University of Michigan and Max Planck Institute.”

介绍这篇论文来自密歇根大学和马普所
Major advancements in Deep Learning in 2016原评论 ↗
被提交为 story · 1 次