按年被提到
20242025 · 5 次2026
视觉、语音与图像生成›扩散模型·arXiv:2412.20292 · cs.LG

An analytic theory of creativity in convolutional diffusion models

卷积扩散模型中创造力的解析理论
Mason Kamb, Surya Ganguli · 2024

局部性与等变性解释扩散模型如何拼贴出新图像

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 5 人首次 2025-01-06 · 最近 2025-08-11
5不同的人
3活跃月份
5讨论串
6被引(OpenAlex)

最优得分匹配理论认为扩散模型只能复现训练样本,但实际模型能生成远离训练数据的原创图像。论文指出局部性和等变性两种简单的归纳偏置可以弥合这一差距:它们带来一种组合式创造力,并得到完全解析、机理上可解释的 LS 与 ELS 机器。校准一个随时间变化的超参数后,这些机器能高精度预测纯卷积扩散模型(如 ResNet、UNet)的输出,在 CIFAR10、FashionMNIST、MNIST、CelebA 上的 r² 中位数约 0.94 到 0.96。由此得出“局部一致的图块拼贴”机制:模型在不同尺度和位置混合训练集中的局部图块,生成指数级的新图像;理论对含自注意力的 UNet 也有部分预测力。

HN 为什么提它

HN 评论者引它说明得分匹配扩散模型近似于把不同训练图像的局部图块组合在一起。

方法难度 5 / 5约 80 分钟经得起时间
读之前最好知道
1扩散模型与得分匹配(score matching)
2卷积网络的局部性与等变性
3U-Net 与自注意力
4统计物理式的理论分析

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用yorwba · 2025-07

“An analytic theory of creativity in convolutional diffusion models demonstrated that score-matching diffusion models approximate a process that combines patches from different training images.”

拿它说明 score-matching 扩散模型近似拼接不同训练图像的 patch
All AI models might be the same原评论 ↗
被提交为 story · 4 次