“Check out Section 5.3 and Figure 6 from PixelRNN, where they discuss this phenomenon: Pixel Recurrent Neural Networks”
Pixel Recurrent Neural Networks
沿空间逐像素自回归建模图像分布的 PixelRNN
提出一个沿两个空间维度逐像素预测的深度网络,建模原始像素值的离散概率,并编码图像中的全部依赖关系。结构上的创新包括快速的二维循环层,以及在深度循环网络中有效使用残差连接。对数似然明显优于此前最优,并在 ImageNet 上给出基准;生成的样本清晰、多样且全局连贯。
评论者把它当作自回归逐元素生成的参照:引用其关于多峰类别预测的第 5.3 节、CIFAR-10 上 3.06 bits/dim 的基线、无损压缩表格,并指出逐 token 顺序生成 2016 年就是最先进水平,而这正是今天 LLM 的工作方式。
学习路径
读这篇之前,按顺序读书架上的 4 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出这条路径帮我建立循环网络生成序列、变分自编码器与注意力式图像生成、残差连接的背景,再读 PixelRNN 如何逐像素自回归建模图像。
- 1
PixelRNN 把图像当作像素序列,用 LSTM 做自回归预测,思路直接来自这里。
读LSTM 逐步预测下一个元素的自回归建模方式及其损失;理解概率链式分解。
- 2
它代表另一类图像生成模型,也有助于理解 PixelRNN 强调的可计算似然。
读变分下界与重参数化的核心思路;对比 VAE 只有似然下界而 PixelRNN 有精确似然。
- 3
DRAW 是循环网络用于图像生成的前作,PixelRNN 在实验中与之对比。
读DRAW 的循环生成过程与注意力机制;对照 MNIST 上的对数似然对比。
- 4
PixelRNN 在深层循环层中使用了残差连接以便训练。
读残差块与恒等映射的思想;对照目标论文里循环层之间的残差连接。
- 5Pixel Recurrent Neural Networks
目标论文:逐像素自回归建模图像分布。
读第 3 节的 Row LSTM 与 Diagonal BiLSTM 的结构、掩码卷积,以及多尺度 PixelRNN 和实验中的对数似然。
HN 书评
推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及“Also something like inpainting parts of the frames with pixel RNN [4] would be interesting.”
“* Pixel CNN - [OTHER_PAPER] (and its cousin PixelRNN - Pixel Recurrent Neural Networks)”
“for lossless compression you can go from 8 to 3 bits per color according to Table 5 here:”
“PixelRNN in 2016 got 3.06 bits/dim (Table 3 in Pixel Recurrent Neural Networks)”
“Sequential generation used to be state of the art in 2016 and it's basically how current LLMs work:”