按年被提到
20242024 · 3 次2026
视觉、语音与图像生成›扩散模型·arXiv:2408.11039 · cs.AI

Transfusion: Predict the Next Token and Diffuse Images with One Multi-Modal Model

Transfusion:用一个多模态模型预测下一个 token 并扩散生成图像
Chunting Zhou, Lili Yu, Arun Babu, Kushal Tirumala, Michihiro Yasunaga, Leonid Shamis, Jacob Kahn, Xuezhe Ma, Luke Zettlemoyer, Omer Levy · 2024

在单个 Transformer 中同时做 next-token 预测与图像扩散

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 3 人首次 2024-08-21 · 最近 2025-04-25
3不同的人
3活跃月份
4讨论串
62被引(OpenAlex)

论文提出 Transfusion 训练配方:在同一个 Transformer 上对混合模态序列同时使用语言建模损失(预测下一个 token)与扩散损失,处理离散与连续数据。作者从零预训练了最高 7B 参数的模型,建立了缩放规律,结果显示它的扩展性明显优于把图像量化成离散 token 再训练语言模型;加入模态专用的编码与解码层后性能进一步提升,甚至可把每张图压缩到 16 个 patch;7B、2T 多模态 token 的模型在图文生成上与同规模的扩散模型和语言模型相当。

HN 为什么提它

评论者用它描述把图像编码器的连续输出送入 Transformer 的多模态做法,并指出这种 Transformer 加扩散的混合方案比单纯自回归图像 token 生成效果更好。

方法难度 4 / 5约 60 分钟经得起时间
读之前最好知道
1Transformer 架构
2扩散模型(diffusion model)
3自回归语言建模
4多模态表示(图像 patch 与 token)

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用sva_ · 2024-09

“It sounds like they input the continuous output of an image encoder into a transformer, similar to transfusion[0]?”

拿它类比:把图像编码器的连续输出送入 Transformer
Llama 3.2: Revolutionizing edge AI and vision with open, customizable models原评论 ↗
引用thegeomaster · 2025-04

“shown to provide better output results than simple autoregressive image token generation alone: Transfusion”

引它说明混合方法比单纯自回归图像 token 生成效果更好
OpenAI releases image generation in the API原评论 ↗
被提交为 story · 2 次