按年被提到
20242025 · 7 次2026
视觉、语音与图像生成›图像与视频生成·arXiv:2404.02905 · cs.CV

Visual Autoregressive Modeling: Scalable Image Generation via Next-Scale Prediction

视觉自回归建模:通过下一尺度预测实现可扩展的图像生成
Keyu Tian, Yi Jiang, Zehuan Yuan, Bingyue Peng, Liwei Wang · 2024

VAR:把图像自回归改为由粗到细的下一尺度预测,超过扩散 Transformer

开始阅读 ↗PDFalphaXiv 讨论
被推荐 · 5 人首次 2024-04-05 · 最近 2025-08-04
5不同的人
6活跃月份
7讨论串
180被引(OpenAlex)

论文提出视觉自回归建模(VAR),把图像上的自回归学习重新定义为由粗到细的“下一尺度预测”,不再是标准的光栅扫描式“下一 token 预测”。这种简单直观的做法让自回归 Transformer 能快速学习视觉分布并泛化良好,首次使类 GPT 自回归模型在图像生成上超过扩散 Transformer。在 ImageNet 256x256 上,VAR 把 FID 从 18.65 降到 1.73,IS 从 80.4 升到 350.2,推理速度约快 20 倍,并在图像质量、速度、数据效率和可扩展性等方面优于 DiT。扩大 VAR 模型呈现类似 LLM 的幂律扩展,并具备图像修复、扩图和编辑等零样本泛化能力。

HN 为什么提它

HN 上的人把它当作比扩散模型扩展性相当甚至更好的新型自回归图像生成方法,并猜测一些新的图像模型可能采用了类似 VAR 的由粗到细思路。

方法难度 4 / 5约 50 分钟经得起时间
读之前最好知道
1自回归语言模型与 Transformer
2扩散模型与 DiT
3VQ-VAE 与图像 tokenizer
4FID 与 Inception Score
5扩展定律(scaling laws)

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
推荐famouswaffles · 2024-10

“A fairly new but promising approach for autoregression that seems to scale as well as diffusion is predicting the next image scale/resolution rather than the next image patch.”

推荐这个较新的自回归思路:预测下一个图像尺度而非下一个图块,扩展性似乎不输扩散
Faster convergence for diffusion models原评论 ↗
推荐cubefox · 2025-05

“But recently (2024 NeuIPS paper of the year) there was a new paper on autoregressive image modelling that apparently outperforms diffusion models: Visual Autoregressive Modeling”

推荐 2024 年 NeurIPS 年度论文,称其自回归图像建模据说胜过扩散模型
Diffusion models explained simply原评论 ↗
引用famouswaffles · 2025-03

“There is a more recent approach to auto-regressive image generation.”

指出还有更新的自回归图像生成方法:逐步预测更高分辨率
4o Image Generation原评论 ↗
引用famouswaffles · 2025-04

“It's probably an implementation of VAR”

推测那很可能是 VAR 的一种实现
No elephants: Breakthroughs in image generation原评论 ↗
引用famouswaffles · 2025-04

“i think it's more likely an implementation of VAR - Visual Autoregressive Modeling.”

认为更可能是 VAR 的实现,由粗到细的自回归,可能是 OpenAI 图像模型背后的做法
No elephants: Breakthroughs in image generation原评论 ↗
引用andy12_ · 2025-04

“This is very similar to VAR [1]”

指出当前做法与 VAR 很相似:先画粗略画布,再逐步填图块
No elephants: Breakthroughs in image generation原评论 ↗
看全部 8 条 →
引用famouswaffles · 2025-04

“Paper here - Visual Autoregressive Modeling”

贴出论文:下一尺度自回归图像生成,由粗到细逐级放大
No elephants: Breakthroughs in image generation原评论 ↗
引用peter_peter · 2025-08

“I am working on a transformer based autoregressive image generation model (see for example Visual Autoregressive Modeling ).”

以它为例介绍自己在做的基于 Transformer 的自回归图像生成
Ask HN: Who wants to be hired? (August 2025)原评论 ↗
被提交为 story · 2 次