“not the first diffusion transformer. That would be [2]”
Scalable Diffusion Models with Transformers
DiT:用Transformer取代U-Net做潜空间图像扩散
论文提出 Diffusion Transformers(DiT),在潜空间的图像块上用 Transformer 取代常见的 U-Net 骨干来训练扩散模型。作者以前向计算量 Gflops 衡量可扩展性,发现增加 Transformer 深度、宽度或输入 token 数,FID 都会稳定下降。最大的 DiT-XL/2 在类别条件的 ImageNet 512x512 和 256x256 上超过此前所有扩散模型,后者 FID 达 2.27。
HN 上的人讨论 Sora 等模型的架构时,引它作为原始的 Diffusion Transformer(DiT)论文,也有人借它纠正“谁是第一个扩散 Transformer”之类的说法。
学习路径
读这篇之前,按顺序读书架上的 6 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出这条路径帮你建立 Transformer、扩散模型(从早期理论到 DDPM、引导)和潜空间扩散的基础,再看 DiT 如何用 Transformer 替换 U-Net。
- 1
- 2
最早的扩散模型,给出前向加噪与反向去噪的基本框架。
读前向扩散过程与学习反向过程的思路。
- 3
- 4
展示改进架构与分类器引导使扩散模型胜过 GAN,DiT 与其在 ImageNet 上比较。
读架构改进与分类器引导的作用。
- 5
- 6
DiT 是在潜在扩散模型的潜空间中训练的,只是把 U-Net 换掉。
读自编码器潜空间中的扩散,以及 U-Net 骨干的作用。
- 7Scalable Diffusion Models with Transformers
目标论文:用在潜空间图块上运行的 Transformer 取代 U-Net,并分析其随 Gflops 的扩展性。
读DiT 块(自适应层归一化条件注入)与 Gflops 对 FID 的影响。
HN 书评
推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及“it actually makes more sense to say that it uses a Diffusion Transformer (DiT) like Sora.”
“Here is the original "diffusion transformer" paper: Scalable Diffusion Models with Transformers”
“it compares FID to model sizes and sampling steps.”
- Diffusion Transformer ↗mr-ai · 2023-08-24 · 1 分