“take a look at how Facebook's DALL-E rival Make-A-Scene does it: Make-A-Scene”
Make-A-Scene: Scene-Based Text-to-Image Generation with Human Priors
用场景草图控制布局的文生图模型,并强化人脸等关键区域
提出一种文生图方法:用“场景”作为文本之外的简单控制手段,对人脸和显著物体等关键区域引入领域知识以改进 tokenization,并把无分类器引导适配到 Transformer。模型在 FID 和人工评估上达到当时最优,可生成 512×512 的高保真图像,并带来场景编辑、锚定场景的文本编辑、处理分布外文本和故事插图等新能力。
DALL-E 2 刚发布时,评论者拿它作对照:它用针对人脸的损失和分割条件控制布局,被认为在人脸与编辑控制上有优势,质量接近 DALL-E 2。
学习路径
读这篇之前,按顺序读书架上的 5 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出这条路径先补自回归 Transformer 与离散图像 token(VQ-VAE)的基础,再看 CLIP 和 DALL-E 如何把文本与图像接起来,最后看 SPADE 的布局条件思路,为理解 Make-A-Scene 的场景控制做准备。
- 1
Make-A-Scene 的文本、场景、图像 token 序列由 Transformer 自回归建模。
读多头自注意力与解码器的自回归生成方式;理解序列建模即可,跳过翻译实验。
- 2
Make-A-Scene 把图像编码成离散 token,其 tokenizer 基于 VQ-VAE 的思路。
读码本、向量量化与 straight-through 梯度估计的原理;理解离散潜变量如何重建图像。
- 3
图文对比预训练模型,文生图系统常用它给生成结果打分、重排。
读对比学习目标与图文共享嵌入空间;了解它如何度量文本与图像的匹配度。
- 4
Make-A-Scene 直接对标 DALL-E:把文本与图像 token 合成一个序列交给 Transformer。
读两阶段流程(离散 VAE 加自回归 Transformer)和文本到图像 token 的拼接方式;注意它没有布局控制。
- 5
用语义分割布局控制图像合成的代表工作,与 Make-A-Scene 的场景条件控制思路相关。
读空间自适应归一化如何把布局图注入生成器;对比 Make-A-Scene 用场景 token 的做法。
- 6Make-A-Scene: Scene-Based Text-to-Image Generation with Human Priors
目标论文:在文本之外加入场景草图作为控制,并对人脸等关键区域加强 tokenization。
读场景 token 如何与文本 token 并列输入;人脸与关键区域感知的损失设计;无分类器引导式采样。
HN 书评
推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及“Also Make-A-Scene, which in some ways is noticeably better than DALL-E 2 (faces, editing & control of layout through semantic segmentation conditioning): Make-A-Scene”
“My dataset is a start, but it may benefit from focused training, the way Facebook's new Make-A-Scene Make-A-Scene (not DALL-E 2 quality but not far from it) has focused losses on faces.”
“Only that, but segmentation is a big research area too and it looks like FB has a reproduction with some of that mixed in.”
“Facebook's Make-A-Scene, which looks almost as good as DALL-E 2, does something very much like that, using face-specific targeting to boost the quality of that part of images: Make-A-Scene”
“I understand this is probably just a frontend to this paper from March Make-A-Scene”
- Make-a-Scene: Scene-Based Text-to-Image Generation with Human Priors ↗smusamashah · 2022-03-25 · 2 分