按年被提到
20162020 · 2 次2026
视觉、语音与图像生成›卷积网络与图像识别·arXiv:1601.06759 · cs.CV

Pixel Recurrent Neural Networks

像素循环神经网络
Aaron van den Oord, Nal Kalchbrenner, Koray Kavukcuoglu · 2016

沿空间逐像素自回归建模图像分布的 PixelRNN

开始阅读 ↗PDFalphaXiv 讨论
被推荐 · 6 人首次 2016-06-03 · 最近 2025-10-21
6不同的人
6活跃月份
6讨论串
1,431被引(OpenAlex)

提出一个沿两个空间维度逐像素预测的深度网络,建模原始像素值的离散概率,并编码图像中的全部依赖关系。结构上的创新包括快速的二维循环层,以及在深度循环网络中有效使用残差连接。对数似然明显优于此前最优,并在 ImageNet 上给出基准;生成的样本清晰、多样且全局连贯。

HN 为什么提它

评论者把它当作自回归逐元素生成的参照:引用其关于多峰类别预测的第 5.3 节、CIFAR-10 上 3.06 bits/dim 的基线、无损压缩表格,并指出逐 token 顺序生成 2016 年就是最先进水平,而这正是今天 LLM 的工作方式。

奠基之作难度 4 / 5约 35 分钟经得起时间
读之前最好知道
1自回归生成模型
2循环神经网络与 LSTM
3残差连接
4对数似然与 bits/dim

学习路径

读这篇之前,按顺序读书架上的 4 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

这条路径帮我建立循环网络生成序列、变分自编码器与注意力式图像生成、残差连接的背景,再读 PixelRNN 如何逐像素自回归建模图像。

  1. 1
    Generating Sequences With Recurrent Neural Networks用循环神经网络生成序列 · 2013

    PixelRNN 把图像当作像素序列,用 LSTM 做自回归预测,思路直接来自这里。

    读LSTM 逐步预测下一个元素的自回归建模方式及其损失;理解概率链式分解。

  2. 2
    Auto-Encoding Variational Bayes自编码变分贝叶斯 · 2013

    它代表另一类图像生成模型,也有助于理解 PixelRNN 强调的可计算似然。

    读变分下界与重参数化的核心思路;对比 VAE 只有似然下界而 PixelRNN 有精确似然。

  3. 3
    DRAW: A Recurrent Neural Network For Image GenerationDRAW:用于图像生成的循环神经网络 · 2015

    DRAW 是循环网络用于图像生成的前作,PixelRNN 在实验中与之对比。

    读DRAW 的循环生成过程与注意力机制;对照 MNIST 上的对数似然对比。

  4. 4
    Deep Residual Learning for Image Recognition用于图像识别的深度残差学习 · 2015

    PixelRNN 在深层循环层中使用了残差连接以便训练。

    读残差块与恒等映射的思想;对照目标论文里循环层之间的残差连接。

  5. 5
    Pixel Recurrent Neural Networks像素循环神经网络 · 2016 · 就是这篇

    目标论文:逐像素自回归建模图像分布。

    读第 3 节的 Row LSTM 与 Diagonal BiLSTM 的结构、掩码卷积,以及多尺度 PixelRNN 和实验中的对数似然。

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
推荐vvolhejn · 2025-10

“Check out Section 5.3 and Figure 6 from PixelRNN, where they discuss this phenomenon: Pixel Recurrent Neural Networks”

推荐看 PixelRNN 5.3 节和图 6 对多峰预测现象的讨论
Neural audio codecs: how to get audio into LLMs原评论 ↗
引用kastnerkyle · 2016-06

“Also something like inpainting parts of the frames with pixel RNN [4] would be interesting.”

设想用 Pixel RNN 修补视频帧的局部
Blade Runner re-encoded using neural networks原评论 ↗
引用cs702 · 2018-10

“* Pixel CNN - [OTHER_PAPER] (and its cousin PixelRNN - Pixel Recurrent Neural Networks)”

补充文章漏掉的生成式图像模型 PixelRNN 和 Pixel CNN
Tale of Three Probabilistic Families: Discriminative, Descriptive and Generative原评论 ↗
引用0-_-0 · 2020-02

“for lossless compression you can go from 8 to 3 bits per color according to Table 5 here:”

引用表 5:无损压缩可从每色 8 位降到 3 位
JPEG Committee releases a call for evidence for image compression based on AI原评论 ↗
引用blueblimp · 2020-07

“PixelRNN in 2016 got 3.06 bits/dim (Table 3 in Pixel Recurrent Neural Networks)”

引用表 3 中 PixelRNN 在 2016 年的 3.06 bits/dim 作对比
The Reformer – Pushing the limits of language modeling原评论 ↗
引用WithinReason · 2024-10

“Sequential generation used to be state of the art in 2016 and it's basically how current LLMs work:”

指出逐像素顺序生成在 2016 年是 SOTA,与现在 LLM 的做法一脉相承
Faster convergence for diffusion models原评论 ↗