按年被提到
20212021 · 2 次2026
视觉、语音与图像生成›图像与视频生成·arXiv:2102.12092 · cs.CV

Zero-Shot Text-to-Image Generation

零样本文本到图像生成
Aditya Ramesh, Mikhail Pavlov, Gabriel Goh, Scott Gray, Chelsea Voss, Alec Radford, Mark Chen, Ilya Sutskever · 2021

DALL-E:把文本与图像 token 作为同一序列交给自回归 Transformer

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 5 人首次 2021-02-25 · 最近 2023-02-19
5不同的人
5活跃月份
5讨论串
2,740被引(OpenAlex)

论文提出一种简单的文本到图像生成方法:用一个 Transformer 把文本 token 和图像 token 当作单一数据流做自回归建模,而不依赖复杂架构、辅助损失或部件标注、分割掩码等额外信息。在足够的数据和规模下,这种方法以零样本方式评估时可与此前的领域专用模型竞争。

HN 为什么提它

HN 评论者引用它来说明 DALL-E 的训练数据规模约 2.5 亿图文对、使用 BPE dropout 等细节,并概括其要点:可以直接把文本和图像串成一条流喂给 GPT 式模型。

方法难度 3 / 5约 45 分钟有时效性
读之前最好知道
1Transformer 与自回归语言模型
2离散图像 token 化(VQ-VAE 一类)
3BPE 分词
4零样本(zero-shot)评估

学习路径

读这篇之前,按顺序读书架上的 7 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

这条路径先看 Transformer 与稀疏注意力,再看离散视觉表示(VQ-VAE)、早期的 GAN 文本到图像方法,最后读 DALL-E 如何把文本与图像 token 交给同一个自回归 Transformer,并用 CLIP 重排序。

  1. 1
    Attention Is All You Need注意力就是你所需要的一切 · 2017

    DALL-E 的主体就是自回归 Transformer。

    读解码器、自注意力与位置编码。

  2. 2
    Neural Discrete Representation Learning神经离散表示学习 · 2017

    DALL-E 用离散变分自编码器把图像压成 token,思路源自 VQ-VAE。

    读离散码本、直通梯度与向量量化的损失。

  3. 3

    处理超长的图文 token 序列需要稀疏注意力。

    读稀疏注意力的模式与计算量;跳过实验细节。

  4. 4
    Generative Adversarial Text to Image Synthesis生成对抗式文本到图像合成 · 2016

    最早的文本到图像生成对抗模型,是 DALL-E 要对比的传统路线。

    读文本条件如何接入 GAN 的生成器与判别器。

  5. 5
    StackGAN: Text to Photo-realistic Image Synthesis with Stacked Generative Adversarial NetworksStackGAN:用堆叠式生成对抗网络从文本合成逼真图像 · 2016

    两阶段堆叠 GAN,代表领域内的复杂专用设计。

    读草图加细化的两阶段结构,与 DALL-E 的单模型方案对比。

  6. 6
    Mixed Precision Training混合精度训练 · 2017

    训练大模型用到的 16 位精度训练技巧。

    读FP32 主权重与损失缩放的原理。

  7. 7
    Learning Transferable Visual Models From Natural Language Supervision从自然语言监督中学习可迁移的视觉模型 · 2021

    DALL-E 生成的样本用 CLIP 做重排序。

    读图文对比学习的目标与零样本分类。

  8. 8
    Zero-Shot Text-to-Image Generation零样本文本到图像生成 · 2021 · 就是这篇

    目标论文:文本与图像 token 作为同一序列交给自回归 Transformer。

    读两阶段训练、数据规模与零样本评测。

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用gwern · 2021-03

“DALL-E is 250m: Zero-Shot Text-to-Image Generation (so 20x larger).”

指出 DALL-E 的训练数据为 2.5 亿,规模大 20 倍
Wit: Wikipedia-Based Image Text Dataset原评论 ↗
引用exo-pla-net · 2022-04

“Their research remains open:”

指出他们的研究仍是公开的,论文公开发表,尽管代码和模型未开放
Horse-riding astronaut is a milestone in AI’s journey to make sense of the world原评论 ↗
引用karmasimida · 2022-06

“And for the record, they use BPE dropout for DALLE-1, see Zero-Shot Text-to-Image Generation”

补充说明 DALL-E 1 在文本分词中使用了 BPE dropout
DALL-E 2 has a secret language原评论 ↗
引用visarga · 2023-02

“The moral - you can just stream together text and images into a GPT style model.”

借它得出结论:可以把文本和图像串成一个流喂给 GPT 式模型
The Norvig – Chomsky Debate on Statistical Learning in AI原评论 ↗
被提交为 story · 1 次