按年被提到
20152015 · 3 次2026
大模型与语言模型›序列模型与注意力机制·arXiv:1506.02516 · cs.NE

Learning to Transduce with Unbounded Memory

学习使用无界记忆进行序列转换
Edward Grefenstette, Karl Moritz Hermann, Mustafa Suleyman, Phil Blunsom · 2015

为循环网络引入可微的栈、队列和双端队列记忆

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 4 人首次 2015-06-09 · 最近 2016-01-03
4不同的人
3活跃月份
4讨论串
220被引(OpenAlex)

论文先用合成文法(设计成呈现机器翻译等真实转换问题中类似的现象)考察深度 RNN 在自然语言转换任务上的表示能力,进而提出记忆型循环网络,实现栈、队列和双端队列这些传统数据结构的连续可微类比。结果显示这些架构的泛化性能优于深度 RNN,并且常常能学到转换实验中隐含的生成算法。

HN 为什么提它

摘录多为链接式引用:评论者把它当作“可微的栈/队列/双端队列”论文来提及,没有展开评价。

方法难度 4 / 5约 40 分钟经得起时间
读之前最好知道
1循环神经网络与 LSTM
2序列到序列(seq2seq)转换与机器翻译
3栈、队列、双端队列等基本数据结构
4形式文法与合成语言

学习路径

读这篇之前,按顺序读书架上的 4 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

沿着 LSTM 序列生成、seq2seq、注意力、神经图灵机这条线,理解为什么要给循环网络配可微的栈、队列等外部记忆。

  1. 1
    Generating Sequences With Recurrent Neural Networks用循环神经网络生成序列 · 2013

    展示 LSTM 逐步生成长序列,是目标论文所用循环网络的基础。

    读LSTM 的结构与逐步预测的训练方式;手写合成部分可略读。

  2. 2
    Sequence to Sequence Learning with Neural Networks用神经网络进行序列到序列学习 · 2014

    目标论文的转换任务就是在 seq2seq 编码器-解码器框架上改进,基线也来自这里。

    读编码器-解码器结构以及把整个输入压进定长向量的瓶颈。

  3. 3
    Neural Machine Translation by Jointly Learning to Align and Translate通过联合学习对齐与翻译实现神经机器翻译 · 2014

    代表另一种缓解定长向量瓶颈的办法(注意力),可与目标论文的记忆方案对照。

    读软对齐的注意力公式与它如何取代定长上下文向量。

  4. 4
    Neural Turing Machines神经图灵机 · 2014

    同样给网络加可微外部记忆,目标论文的栈、队列是更结构化的版本。

    读可微读写头与寻址机制的思想;对比它与栈、队列记忆的区别。

  5. 5
    Learning to Transduce with Unbounded Memory学习使用无界记忆进行序列转换 · 2015 · 就是这篇

    提出可微的 Stack、Queue、DeQue 记忆,提升转换任务的泛化。

    读各数据结构的连续化定义,以及合成语法任务上的泛化实验。

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用deepnet · 2015-12

“Learning to Transduce with Unbounded Memory”

列出这篇带无界记忆的序列转换论文
Teaching Machines to Read and Comprehend [pdf]原评论 ↗
引用davidad_ · 2016-01

“Here's the differentiable stack/queue/deque paper:”

贴出可微分栈、队列、双端队列的那篇论文
Differentiable Programming原评论 ↗
被提交为 story · 2 次