按年被提到
20152015 · 3 次2026
大模型与语言模型›序列模型与注意力机制·arXiv:1503.08895 · cs.NE

End-To-End Memory Networks

端到端记忆网络
Sainbayar Sukhbaatar, Arthur Szlam, Jason Weston, Rob Fergus · 2015

可端到端训练、带多跳注意力读取外部记忆的网络

开始阅读 ↗PDFalphaXiv 讨论
被推荐 · 3 人首次 2015-04-01 · 最近 2016-04-05
3不同的人
4活跃月份
4讨论串
1,345被引(OpenAlex)

论文提出一种对可能很大的外部记忆做循环注意力的神经网络。它是 Memory Network 的一种形式,但可以端到端训练,因此训练时所需监督显著减少,更适用于现实场景;也可视为把 RNNsearch 扩展为每个输出符号执行多步计算(hop)。在(合成)问答上它与 Memory Network 相当但监督更少,在 Penn TreeBank 和 Text8 的语言建模上与 RNN、LSTM 相当,且多跳计算在两类任务中都带来改进。

HN 为什么提它

HN 评论者把它当作通向具备推理能力的 AI 的一条路线来推荐,也把它列为问答任务的例子,并有人尝试把它用于视觉问答。

方法难度 3 / 5约 40 分钟有时效性
读之前最好知道
1循环神经网络与 LSTM
2注意力机制
3记忆网络(Memory Networks)
4问答与语言建模任务

学习路径

读这篇之前,按顺序读书架上的 4 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

这条路径先建立序列到序列、软注意力和外部记忆(神经图灵机)的基础,再看 bAbI 问答任务,最后读端到端记忆网络如何用多跳注意力读取记忆。

  1. 1
    Sequence to Sequence Learning with Neural Networks用神经网络进行序列到序列学习 · 2014

    编码器-解码器的序列建模基础,端到端记忆网络的输出端沿用了这种思路。

    读用 LSTM 编码再解码的整体框架;理解其定长向量瓶颈。

  2. 2
    Neural Machine Translation by Jointly Learning to Align and Translate通过联合学习对齐与翻译实现神经机器翻译 · 2014

    论文自称是 RNNsearch 的扩展(每个输出符号做多步计算),需要先懂软注意力。

    读软对齐的注意力权重如何计算并加权求和上下文;重点看对齐模型一节。

  3. 3
    Neural Turing Machines神经图灵机 · 2014

    同为带外部记忆的可微网络,端到端记忆网络是更简单、可端到端训练的替代方案。

    读可微的读写头与内容寻址机制;对比它与记忆网络读取记忆的方式。

  4. 4
    Towards AI-Complete Question Answering: A Set of Prerequisite Toy Tasks迈向 AI 完备的问答:一组前置玩具任务 · 2015

    目标论文的合成问答实验就用 bAbI 任务评测。

    读各类任务(单事实、多事实、计数等)想考察的推理能力,以及任务格式。

  5. 5
    End-To-End Memory Networks端到端记忆网络 · 2015 · 就是这篇

    目标论文:多跳注意力读取外部记忆,可端到端训练,监督更少。

    读单层结构(嵌入、注意力、输出)与多层堆叠成多跳的方式;bAbI 问答与语言建模实验。

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
推荐dave_sullivan · 2015-09

“For anyone interested in "building AI", read that paper and all it's references.”

推荐想做 AI 的人读这篇论文及其所有参考文献
A Simple AI Capable of Basic Reading Comprehension原评论 ↗
引用kastnerkyle · 2015-08

“question answering (Q/A) [10][11]”

把它列为问答(Q/A)方向的例子
A Beginner’s Guide to Restricted Boltzmann Machines原评论 ↗
引用iamaaditya · 2016-04

“Right now I am working on converting "End to end network" -End-To-End Memory Networks to this task.”

正在把它的方法改用到视觉问答任务上
Deep learning for visual question answering: demo with Keras code原评论 ↗
被提交为 story · 1 次