“A bit academic, but if you check out this paper from 2015 DRAW on a neural network trained on binarised MNIST”
DRAW: A Recurrent Neural Network For Image Generation
结合空间注意力与序列变分自编码器逐步绘制图像
论文提出 DRAW(Deep Recurrent Attentive Writer)网络,把模仿人眼中央凹的空间注意力机制与序列式变分自编码框架结合起来,从而迭代地构建复杂图像。它在 MNIST 上大幅改进了当时生成模型的最好结果,在 SVHN 数据集上训练后生成的图像肉眼难以与真实数据区分。
评论者把它当作 2015 年图像生成的早期先例引用,也拿它在二值化 MNIST 上的结果当作做密度估计与压缩估算的参照。
学习路径
读这篇之前,按顺序读书架上的 2 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出这条路径帮我先理解 LSTM 序列生成和变分自编码器这两块基础,再看 DRAW 如何把它们与空间注意力结合起来。
- 1
DRAW 的编码器和解码器是 LSTM,序列生成的做法与此文一脉相承。
读抓 LSTM 的结构与逐步预测生成的思路;手写合成部分里的注意力窗口可对照 DRAW 的注意力。
- 2
DRAW 的训练目标是变分下界,需要先懂 VAE 的重参数化与 ELBO。
读抓 ELBO 的构成(重构项加 KL 项)和重参数化技巧;不必看后面的实验。
- 3DRAW: A Recurrent Neural Network For Image Generation
目标论文:把空间注意力与序列 VAE 结合,迭代式地绘制图像。
读抓每一步的读、写注意力操作、潜变量序列的 KL 损失,以及与一次性生成的对比。
HN 书评
推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及“Perhaps you can show some density estimation results as in DRAW or [OTHER_PAPER]?”
“until August 2016 (when the paper this was based on was published - or maybe 2015, with DRAW[2]) people actively working in this area didn't think it was possible.”
- DRAW: A Recurrent Neural Network For Image Generation [pdf] ↗fitzwatermellow · 2015-02-17 · 26 分
- DRAW: A Recurrent Neural Network for Image Generation [pdf] ↗noelwelsh · 2015-02-28 · 2 分