引用sva_ · 2024-09
“It sounds like they input the continuous output of an image encoder into a transformer, similar to transfusion[0]?”
拿它类比:把图像编码器的连续输出送入 Transformer
在单个 Transformer 中同时做 next-token 预测与图像扩散
论文提出 Transfusion 训练配方:在同一个 Transformer 上对混合模态序列同时使用语言建模损失(预测下一个 token)与扩散损失,处理离散与连续数据。作者从零预训练了最高 7B 参数的模型,建立了缩放规律,结果显示它的扩展性明显优于把图像量化成离散 token 再训练语言模型;加入模态专用的编码与解码层后性能进一步提升,甚至可把每张图压缩到 16 个 patch;7B、2T 多模态 token 的模型在图文生成上与同规模的扩散模型和语言模型相当。
评论者用它描述把图像编码器的连续输出送入 Transformer 的多模态做法,并指出这种 Transformer 加扩散的混合方案比单纯自回归图像 token 生成效果更好。
“It sounds like they input the continuous output of an image encoder into a transformer, similar to transfusion[0]?”
“shown to provide better output results than simple autoregressive image token generation alone: Transfusion”