批评godelski · 2023-05
“Imagen[0] claims zero-shot MS-COCO performance but trains on LAION.”
批评 Imagen 声称零样本 MS-COCO 表现,却在 LAION 上训练
Imagen:用冻结的T5文本编码器驱动扩散模型生成逼真图像
Imagen 用仅在文本上预训练的通用大语言模型(如 T5)编码提示词,再用扩散模型生成图像。作者发现放大语言模型比放大图像扩散模型更能提升画质和图文一致性。Imagen 在 COCO 上取得 FID 7.27,并提出 DrawBench 基准,人类评测者在并排比较中更偏好 Imagen。
HN 评论多把它当作“文本编码器越大效果越好”的证据(图 4a、T5-XXL),也有人质疑其所谓零样本 COCO 成绩是否受 LAION 训练数据重叠影响。
“Imagen[0] claims zero-shot MS-COCO performance but trains on LAION.”
“Of note imagen[1] and open-assistant[2] use T5 and FlanT5.”
“Many papers justified empirically the use of more neurons allocated to language than to visual understanding, like Imagen[0] (figure 4.a).”
“Check out figure 4A from the ImageGen paper: Photorealistic Text-to-Image Diffusion Models with Deep Language Understanding”
“In Imagen, it was T5-XXL with 4.6B [2]”