按年被提到
20152015 · 3 次2026
视觉、语音与图像生成›图像与视频生成·arXiv:1502.04623 · cs.CV

DRAW: A Recurrent Neural Network For Image Generation

DRAW:用于图像生成的循环神经网络
Karol Gregor, Ivo Danihelka, Alex Graves, Danilo Jimenez Rezende, Daan Wierstra · 2015

结合空间注意力与序列变分自编码器逐步绘制图像

开始阅读 ↗PDFalphaXiv 讨论
被推荐 · 5 人首次 2015-02-17 · 最近 2020-02-20
5不同的人
4活跃月份
5讨论串
1,280被引(OpenAlex)

论文提出 DRAW(Deep Recurrent Attentive Writer)网络,把模仿人眼中央凹的空间注意力机制与序列式变分自编码框架结合起来,从而迭代地构建复杂图像。它在 MNIST 上大幅改进了当时生成模型的最好结果,在 SVHN 数据集上训练后生成的图像肉眼难以与真实数据区分。

HN 为什么提它

评论者把它当作 2015 年图像生成的早期先例引用,也拿它在二值化 MNIST 上的结果当作做密度估计与压缩估算的参照。

方法难度 4 / 5约 45 分钟经得起时间
读之前最好知道
1变分自编码器(VAE)
2循环神经网络与 LSTM
3注意力机制
4生成模型与密度估计

学习路径

读这篇之前,按顺序读书架上的 2 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

这条路径帮我先理解 LSTM 序列生成和变分自编码器这两块基础,再看 DRAW 如何把它们与空间注意力结合起来。

  1. 1
    Generating Sequences With Recurrent Neural Networks用循环神经网络生成序列 · 2013

    DRAW 的编码器和解码器是 LSTM,序列生成的做法与此文一脉相承。

    读抓 LSTM 的结构与逐步预测生成的思路;手写合成部分里的注意力窗口可对照 DRAW 的注意力。

  2. 2
    Auto-Encoding Variational Bayes自编码变分贝叶斯 · 2013

    DRAW 的训练目标是变分下界,需要先懂 VAE 的重参数化与 ELBO。

    读抓 ELBO 的构成(重构项加 KL 项)和重参数化技巧;不必看后面的实验。

  3. 3
    DRAW: A Recurrent Neural Network For Image GenerationDRAW:用于图像生成的循环神经网络 · 2015 · 就是这篇

    目标论文:把空间注意力与序列 VAE 结合,迭代式地绘制图像。

    读抓每一步的读、写注意力操作、潜变量序列的 KL 损失,以及与一次性生成的对比。

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
推荐0-_-0 · 2020-02

“A bit academic, but if you check out this paper from 2015 DRAW on a neural network trained on binarised MNIST”

建议看这篇 binarised MNIST 论文,其熵数据可用于压缩估计
JPEG Committee releases a call for evidence for image compression based on AI原评论 ↗
引用themann9 · 2015-09

“Perhaps you can show some density estimation results as in DRAW or [OTHER_PAPER]?”

建议展示像它那样的密度估计结果
Towards universal neural nets: Gibbs machines and ACE原评论 ↗
引用nl · 2016-09

“until August 2016 (when the paper this was based on was published - or maybe 2015, with DRAW[2]) people actively working in this area didn't think it was possible.”

以 DRAW 为例,说明 2015 年已有图像生成先例
Image Compression with Neural Networks原评论 ↗
被提交为 story · 2 次