按年被提到
20222022 · 7 次2026
视觉、语音与图像生成›图像与视频生成·arXiv:2203.13131 · cs.CV

Make-A-Scene: Scene-Based Text-to-Image Generation with Human Priors

Make-A-Scene:带人类先验的基于场景的文本生成图像
Oran Gafni, Adam Polyak, Oron Ashual, Shelly Sheynin, Devi Parikh, Yaniv Taigman · 2022

用场景草图控制布局的文生图模型,并强化人脸等关键区域

开始阅读 ↗PDFalphaXiv 讨论
被推荐 · 4 人首次 2022-03-25 · 最近 2022-07-14
4不同的人
4活跃月份
6讨论串
345被引(OpenAlex)

提出一种文生图方法:用“场景”作为文本之外的简单控制手段,对人脸和显著物体等关键区域引入领域知识以改进 tokenization,并把无分类器引导适配到 Transformer。模型在 FID 和人工评估上达到当时最优,可生成 512×512 的高保真图像,并带来场景编辑、锚定场景的文本编辑、处理分布外文本和故事插图等新能力。

HN 为什么提它

DALL-E 2 刚发布时,评论者拿它作对照:它用针对人脸的损失和分割条件控制布局,被认为在人脸与编辑控制上有优势,质量接近 DALL-E 2。

方法难度 3 / 5约 50 分钟有时效性
读之前最好知道
1文生图模型(DALL-E 类)
2Transformer 与图像 tokenizer
3无分类器引导(classifier-free guidance)
4语义分割

学习路径

读这篇之前,按顺序读书架上的 5 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

这条路径先补自回归 Transformer 与离散图像 token(VQ-VAE)的基础,再看 CLIP 和 DALL-E 如何把文本与图像接起来,最后看 SPADE 的布局条件思路,为理解 Make-A-Scene 的场景控制做准备。

  1. 1
    Attention Is All You Need注意力就是你所需要的一切 · 2017

    Make-A-Scene 的文本、场景、图像 token 序列由 Transformer 自回归建模。

    读多头自注意力与解码器的自回归生成方式;理解序列建模即可,跳过翻译实验。

  2. 2
    Neural Discrete Representation Learning神经离散表示学习 · 2017

    Make-A-Scene 把图像编码成离散 token,其 tokenizer 基于 VQ-VAE 的思路。

    读码本、向量量化与 straight-through 梯度估计的原理;理解离散潜变量如何重建图像。

  3. 3
    Learning Transferable Visual Models From Natural Language Supervision从自然语言监督中学习可迁移的视觉模型 · 2021

    图文对比预训练模型,文生图系统常用它给生成结果打分、重排。

    读对比学习目标与图文共享嵌入空间;了解它如何度量文本与图像的匹配度。

  4. 4
    Zero-Shot Text-to-Image Generation零样本文本到图像生成 · 2021

    Make-A-Scene 直接对标 DALL-E:把文本与图像 token 合成一个序列交给 Transformer。

    读两阶段流程(离散 VAE 加自回归 Transformer)和文本到图像 token 的拼接方式;注意它没有布局控制。

  5. 5
    Semantic Image Synthesis with Spatially-Adaptive Normalization基于空间自适应归一化的语义图像合成 · 2019

    用语义分割布局控制图像合成的代表工作,与 Make-A-Scene 的场景条件控制思路相关。

    读空间自适应归一化如何把布局图注入生成器;对比 Make-A-Scene 用场景 token 的做法。

  6. 6
    Make-A-Scene: Scene-Based Text-to-Image Generation with Human PriorsMake-A-Scene:带人类先验的基于场景的文本生成图像 · 2022 · 就是这篇

    目标论文:在文本之外加入场景草图作为控制,并对人脸等关键区域加强 tokenization。

    读场景 token 如何与文本 token 并列输入;人脸与关键区域感知的损失设计;无分类器引导式采样。

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
推荐gwern · 2022-04

“take a look at how Facebook's DALL-E rival Make-A-Scene does it: Make-A-Scene”

推荐看 Make-A-Scene 如何用专门的人脸检测器和损失让人脸画得好
Playing with DALL-E 2原评论 ↗
推荐gwern · 2022-04

“Also Make-A-Scene, which in some ways is noticeably better than DALL-E 2 (faces, editing & control of layout through semantic segmentation conditioning): Make-A-Scene”

推荐 Make-A-Scene:人脸和通过语义分割控制布局上明显胜过 DALL-E 2
Playing with DALL-E 2原评论 ↗
引用gwern · 2022-04

“My dataset is a start, but it may benefit from focused training, the way Facebook's new Make-A-Scene Make-A-Scene (not DALL-E 2 quality but not far from it) has focused losses on faces.”

借 Make-A-Scene 对人脸做专门损失的做法,说明自己的数据集也可做针对性训练
引用astrange · 2022-04

“Only that, but segmentation is a big research area too and it looks like FB has a reproduction with some of that mixed in.”

指出分割也是大研究方向,Facebook 的复现把它融入文生图
A few things to try with DALL·E原评论 ↗
引用gwern · 2022-05

“Facebook's Make-A-Scene, which looks almost as good as DALL-E 2, does something very much like that, using face-specific targeting to boost the quality of that part of images: Make-A-Scene”

指出 Make-A-Scene 用针对人脸的方法提升图像中人脸的质量
My deepfake DALL-E 2 vacation photos passed the Turing Test原评论 ↗
引用ht96 · 2022-07

“I understand this is probably just a frontend to this paper from March Make-A-Scene”

推测这个产品大概只是该论文的前端
Meta's Make-a-Scene with AI = DALL-E with creative control via simple sketch原评论 ↗
被提交为 story · 1 次