按年被提到
20222024 · 2 次2026
视觉、语音与图像生成›扩散模型·arXiv:2212.09748 · cs.CV

Scalable Diffusion Models with Transformers

基于 Transformer 的可扩展扩散模型(DiT)
William Peebles, Saining Xie · 2022

DiT:用Transformer取代U-Net做潜空间图像扩散

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 5 人首次 2023-08-24 · 最近 2025-06-29
5不同的人
4活跃月份
5讨论串
2,386被引(OpenAlex)

论文提出 Diffusion Transformers(DiT),在潜空间的图像块上用 Transformer 取代常见的 U-Net 骨干来训练扩散模型。作者以前向计算量 Gflops 衡量可扩展性,发现增加 Transformer 深度、宽度或输入 token 数,FID 都会稳定下降。最大的 DiT-XL/2 在类别条件的 ImageNet 512x512 和 256x256 上超过此前所有扩散模型,后者 FID 达 2.27。

HN 为什么提它

HN 上的人讨论 Sora 等模型的架构时,引它作为原始的 Diffusion Transformer(DiT)论文,也有人借它纠正“谁是第一个扩散 Transformer”之类的说法。

方法难度 3 / 5约 40 分钟经得起时间
读之前最好知道
1扩散模型(diffusion model)
2Transformer 与 Vision Transformer
3潜空间扩散(latent diffusion)与 VAE
4FID 评测指标

学习路径

读这篇之前,按顺序读书架上的 6 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

这条路径帮你建立 Transformer、扩散模型(从早期理论到 DDPM、引导)和潜空间扩散的基础,再看 DiT 如何用 Transformer 替换 U-Net。

  1. 1
    Attention Is All You Need注意力就是你所需要的一切 · 2017

    DiT 的主干就是 Transformer 块。

    读多头自注意力与前馈层的结构。

  2. 2
    Deep Unsupervised Learning using Nonequilibrium Thermodynamics利用非平衡热力学的深度无监督学习 · 2015

    最早的扩散模型,给出前向加噪与反向去噪的基本框架。

    读前向扩散过程与学习反向过程的思路。

  3. 3
    Denoising Diffusion Probabilistic Models去噪扩散概率模型 · 2020

    DDPM 把扩散模型做成实用的图像生成方法,DiT 沿用其训练目标。

    读简化后的噪声预测损失与采样过程。

  4. 4
    Diffusion Models Beat GANs on Image Synthesis扩散模型在图像合成上击败 GAN · 2021

    展示改进架构与分类器引导使扩散模型胜过 GAN,DiT 与其在 ImageNet 上比较。

    读架构改进与分类器引导的作用。

  5. 5

    无分类器引导是 DiT 生成高质量图像时使用的采样技巧。

    读条件与无条件联合训练,以及引导系数的作用。

  6. 6
    High-Resolution Image Synthesis with Latent Diffusion Models基于潜在扩散模型的高分辨率图像合成 · 2021

    DiT 是在潜在扩散模型的潜空间中训练的,只是把 U-Net 换掉。

    读自编码器潜空间中的扩散,以及 U-Net 骨干的作用。

  7. 7
    Scalable Diffusion Models with Transformers基于 Transformer 的可扩展扩散模型(DiT) · 2022 · 就是这篇

    目标论文:用在潜空间图块上运行的 Transformer 取代 U-Net,并分析其随 Gflops 的扩展性。

    读DiT 块(自适应层归一化条件注入)与 Gflops 对 FID 的影响。

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用dr_dshiv · 2024-02

“not the first diffusion transformer. That would be [2]”

指出 Sora 用的并非第一个 diffusion transformer,另有更早的
Sora: Creating video from text原评论 ↗
引用albertzeyer · 2024-02

“it actually makes more sense to say that it uses a Diffusion Transformer (DiT) like Sora.”

指出更准确的说法是 Sora 用了这篇提出的 Diffusion Transformer (DiT)
Stable Diffusion 3原评论 ↗
引用cubefox · 2025-05

“Here is the original "diffusion transformer" paper: Scalable Diffusion Models with Transformers”

贴出原始的 diffusion transformer 论文,用于图像生成
Gemini Diffusion原评论 ↗
引用godelski · 2025-06

“it compares FID to model sizes and sampling steps.”

指出它比较了不同模型规模和采样步数下的 FID
Normalizing Flows Are Capable Generative Models原评论 ↗
被提交为 story · 1 次