引用deepnet · 2015-12
“Learning to Transduce with Unbounded Memory”
列出这篇带无界记忆的序列转换论文
为循环网络引入可微的栈、队列和双端队列记忆
论文先用合成文法(设计成呈现机器翻译等真实转换问题中类似的现象)考察深度 RNN 在自然语言转换任务上的表示能力,进而提出记忆型循环网络,实现栈、队列和双端队列这些传统数据结构的连续可微类比。结果显示这些架构的泛化性能优于深度 RNN,并且常常能学到转换实验中隐含的生成算法。
摘录多为链接式引用:评论者把它当作“可微的栈/队列/双端队列”论文来提及,没有展开评价。
沿着 LSTM 序列生成、seq2seq、注意力、神经图灵机这条线,理解为什么要给循环网络配可微的栈、队列等外部记忆。
展示 LSTM 逐步生成长序列,是目标论文所用循环网络的基础。
读LSTM 的结构与逐步预测的训练方式;手写合成部分可略读。
目标论文的转换任务就是在 seq2seq 编码器-解码器框架上改进,基线也来自这里。
读编码器-解码器结构以及把整个输入压进定长向量的瓶颈。
代表另一种缓解定长向量瓶颈的办法(注意力),可与目标论文的记忆方案对照。
读软对齐的注意力公式与它如何取代定长上下文向量。
提出可微的 Stack、Queue、DeQue 记忆,提升转换任务的泛化。
读各数据结构的连续化定义,以及合成语法任务上的泛化实验。
“Learning to Transduce with Unbounded Memory”
“Here's the differentiable stack/queue/deque paper:”