按年被提到
20152015 · 3 次2026
机器学习与深度学习›神经科学启发的 AI·arXiv:1505.00521 · cs.LG

Reinforcement Learning Neural Turing Machines - Revised

强化学习神经图灵机(修订版)
Wojciech Zaremba, Ilya Sutskever · 2015

用强化学习训练神经网络操作离散的纸带,具备图灵完备性

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 5 人首次 2015-05-05 · 最近 2020-10-21
5不同的人
4活跃月份
5讨论串
112被引(OpenAlex)

神经图灵机(NTM)因有外部存储而比此前模型更具表达力,论文把它放在更大的思路下:让模型学会与外部接口(记忆、数据库、搜索引擎、定理验证器等)交互以扩展能力。由于数据库、搜索引擎等许多接口是离散的,作者考察了学习与离散接口交互的可行性,对象为记忆带、输入带和输出带,并用强化学习算法训练网络解决简单的算法任务,所设计的接口足以使模型图灵完备。

HN 为什么提它

HN 上的人把它当作 NTM 的后续工作,认为它打开了给神经网络配上记忆、栈、数据库等接口的可能,并借它讨论强化学习的图灵完备性。

方法难度 4 / 5约 40 分钟有时效性
读之前最好知道
1神经图灵机(Neural Turing Machine)
2强化学习(REINFORCE 等策略梯度)
3循环神经网络与 LSTM
4图灵机与图灵完备性

学习路径

读这篇之前,按顺序读书架上的 4 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

这条路径先看序列到序列和 LSTM 序列生成的基础,再看神经图灵机的可微外部记忆,以及学习执行程序和栈式记忆的相关工作,最后读用强化学习操作离散接口的 RL-NTM。

  1. 1
    Sequence to Sequence Learning with Neural Networks用神经网络进行序列到序列学习 · 2014

    控制器网络的基础是 LSTM 序列模型。

    读编码器-解码器与 LSTM 的序列处理。

  2. 2
    Neural Turing Machines神经图灵机 · 2014

    RL-NTM 就是要把神经图灵机的可微记忆换成离散接口。

    读可微读写头与外部记忆的寻址机制。

  3. 3
    Learning to Execute学习执行 · 2014

    提供了该论文也用到的算法学习任务和课程学习思路。

    读加法、复制等任务设计与课程学习。

  4. 4
    Learning to Transduce with Unbounded Memory学习使用无界记忆进行序列转换 · 2015

    同期的另一种外部记忆(栈、队列)方案,可作对比。

    读可微栈与队列的设计,对比离散接口方案。

  5. 5
    Reinforcement Learning Neural Turing Machines - Revised强化学习神经图灵机(修订版) · 2015 · 就是这篇

    目标论文:用强化学习训练网络操作离散的纸带,具备图灵完备性。

    读REINFORCE 训练离散接口,以及在算法任务上的实验。

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用deepnet · 2015-05

“Their next paper is "Reinforcement Learning Neural Turing Machines"”

提到其后续论文:用 RL 做神经图灵机来推断算法
The Unreasonable Effectiveness of Recurrent Neural Networks原评论 ↗
引用visarga · 2016-05

“The great thing about them is that they open the possibility of building new types of interfaces like memory, stack, tape, database or search engine that work with neural networks in inference.”

称这类方法让神经网络能在推理时使用记忆、栈、磁带、数据库等接口
Neural Turing Machines (2014)原评论 ↗
引用GregarianChild · 2020-10

“Reinforcement learning is Turing complete [1], so if AI is possible at all, then it can be realised through RL.”

引用它说明 RL 是图灵完备的
Why traditional reinforcement learning will probably not yield AGI [pdf]原评论 ↗
被提交为 story · 2 次