“DALL-E is 250m: Zero-Shot Text-to-Image Generation (so 20x larger).”
Zero-Shot Text-to-Image Generation
DALL-E:把文本与图像 token 作为同一序列交给自回归 Transformer
论文提出一种简单的文本到图像生成方法:用一个 Transformer 把文本 token 和图像 token 当作单一数据流做自回归建模,而不依赖复杂架构、辅助损失或部件标注、分割掩码等额外信息。在足够的数据和规模下,这种方法以零样本方式评估时可与此前的领域专用模型竞争。
HN 评论者引用它来说明 DALL-E 的训练数据规模约 2.5 亿图文对、使用 BPE dropout 等细节,并概括其要点:可以直接把文本和图像串成一条流喂给 GPT 式模型。
学习路径
读这篇之前,按顺序读书架上的 7 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出这条路径先看 Transformer 与稀疏注意力,再看离散视觉表示(VQ-VAE)、早期的 GAN 文本到图像方法,最后读 DALL-E 如何把文本与图像 token 交给同一个自回归 Transformer,并用 CLIP 重排序。
- 1
- 2
- 3
- 4
最早的文本到图像生成对抗模型,是 DALL-E 要对比的传统路线。
读文本条件如何接入 GAN 的生成器与判别器。
- 5
两阶段堆叠 GAN,代表领域内的复杂专用设计。
读草图加细化的两阶段结构,与 DALL-E 的单模型方案对比。
- 6
- 7
DALL-E 生成的样本用 CLIP 做重排序。
读图文对比学习的目标与零样本分类。
- 8Zero-Shot Text-to-Image Generation
目标论文:文本与图像 token 作为同一序列交给自回归 Transformer。
读两阶段训练、数据规模与零样本评测。
HN 书评
推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及“Their research remains open:”
“And for the record, they use BPE dropout for DALLE-1, see Zero-Shot Text-to-Image Generation”
“The moral - you can just stream together text and images into a GPT style model.”
- Zero-Shot Text-to-Image Generation (DALL-E) ↗tmabraham · 2021-02-25 · 4 分