按年被提到
20222023 · 5 次2026
视觉、语音与图像生成›图像与视频生成·arXiv:2205.11487 · cs.CV

Photorealistic Text-to-Image Diffusion Models with Deep Language Understanding

具备深度语言理解的照片级文本到图像扩散模型(Imagen)
Chitwan Saharia, William Chan, Saurabh Saxena, Lala Li, Jay Whang, Emily Denton, Seyed Kamyar Seyed Ghasemipour, Burcu Karagol Ayan, S. Sara Mahdavi, Rapha Gontijo Lopes, Tim Salimans, Jonathan Ho 等 14 人 · 2022

Imagen:用冻结的T5文本编码器驱动扩散模型生成逼真图像

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 5 人首次 2023-02-05 · 最近 2023-07-26发表于 neural information processing systems
5不同的人
5活跃月份
5讨论串
2,782被引(OpenAlex)

Imagen 用仅在文本上预训练的通用大语言模型(如 T5)编码提示词,再用扩散模型生成图像。作者发现放大语言模型比放大图像扩散模型更能提升画质和图文一致性。Imagen 在 COCO 上取得 FID 7.27,并提出 DrawBench 基准,人类评测者在并排比较中更偏好 Imagen。

HN 为什么提它

HN 评论多把它当作“文本编码器越大效果越好”的证据(图 4a、T5-XXL),也有人质疑其所谓零样本 COCO 成绩是否受 LAION 训练数据重叠影响。

方法难度 3 / 5约 50 分钟经得起时间
读之前最好知道
1扩散模型(diffusion model)
2Transformer 与 T5 语言模型
3FID 等图像生成评测指标
4文本到图像生成基础

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
批评godelski · 2023-05

“Imagen[0] claims zero-shot MS-COCO performance but trains on LAION.”

批评 Imagen 声称零样本 MS-COCO 表现,却在 LAION 上训练
Governance of Superintelligence原评论 ↗
引用nodja · 2023-02

“Of note imagen[1] and open-assistant[2] use T5 and FlanT5.”

指出 Imagen 使用了 T5,与 open-assistant 用 FlanT5 类似
Google Invests Almost $400M in ChatGPT Rival Anthropic原评论 ↗
引用espadrine · 2023-03

“Many papers justified empirically the use of more neurons allocated to language than to visual understanding, like Imagen[0] (figure 4.a).”

引用 Imagen(图 4a)作为实证:给语言分配更多神经元比给视觉更好
Visual ChatGPT原评论 ↗
引用FL33TW00D · 2023-04

“Check out figure 4A from the ImageGen paper: Photorealistic Text-to-Image Diffusion Models with Deep Language Understanding”

指向 Imagen 的图 4A:更大的文本编码器带来了提升
Stability AI releases DeepFloyd IF, a powerful text-to-image model原评论 ↗
引用airgapstopgap · 2023-07

“In Imagen, it was T5-XXL with 4.6B [2]”

指出 Imagen 的文本编码器是 4.6B 参数的 T5-XXL
Stability AI releases its latest image-generating model, Stable Diffusion XL 1.0原评论 ↗