按年被提到
20142014 · 3 次2026
大模型与语言模型›序列模型与注意力机制·arXiv:1410.4615 · cs.NE

Learning to Execute

学习执行
Wojciech Zaremba, Ilya Sutskever · 2014

训练 LSTM 在字符级读程序并输出结果,课程学习让 9 位加法达 99%。

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 6 人首次 2014-10-28 · 最近 2017-06-03
6不同的人
5活跃月份
6讨论串
314被引(OpenAlex)

论文用实证方法评估 LSTM 在序列到序列场景中的表达能力和可学习性:训练它们读入短小的计算机程序并给出结果,而这类任务传统上被认为对神经网络太复杂。程序限定为可用常量内存、单次从左到右扫描求值的简单类别,主要结果是 LSTM 能把这类程序的字符级表示映射到正确输出。训练必须用课程学习,传统课程学习无效,作者提出的新变体在所有实验条件下都提升了表现,并使 LSTM 能以 99% 准确率做两个 9 位数的加法。

HN 为什么提它

评论者把它当作神经网络能学会执行简单 Python 程序、做 9 位数加法(99% 准确率)的例子,也有人提醒不要对这些结果过度解读。

实证研究难度 3 / 5约 30 分钟经得起时间
读之前最好知道
1循环神经网络(RNN)与 LSTM
2序列到序列(sequence-to-sequence)学习
3课程学习(curriculum learning)

学习路径

读这篇之前,按顺序读书架上的 3 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

先掌握 LSTM 序列生成和编码器-解码器两条基础线,再看这篇如何在字符级训练 LSTM 去执行短程序,并用课程学习提升效果。

  1. 1
    Generating Sequences With Recurrent Neural Networks用循环神经网络生成序列 · 2013

    展示 LSTM 逐步预测序列的能力,是本文所用循环网络和训练方式的基础。

    读理解 LSTM 作为序列模型的用法和深层堆叠结构,不用细看手写体合成部分。

  2. 2

    提出 RNN 编码器-解码器框架,也引入了 GRU 单元,与 seq2seq 设置同源。

    读抓住用一个 RNN 编码、另一个 RNN 解码的结构。

  3. 3
    Sequence to Sequence Learning with Neural Networks用神经网络进行序列到序列学习 · 2014

    本文采用的 seq2seq 范式(LSTM 读入输入再输出结果)出自这里。

    读理解输入反转等训练技巧和编码到定长向量再解码的流程。

  4. 4
    Learning to Execute学习执行 · 2014 · 就是这篇

    目标论文:用 LSTM 学习执行程序,并提出课程学习。

    读看任务设定(程序类别、字符级输入输出)、课程学习策略以及加法任务的实验结果。

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
批评shriphani · 2017-06

“I wouldn't read too much into these results.”

DeepFix: Fixing Common C Language Errors by Deep Learning原评论 ↗
引用modeless · 2014-11

“or learning to execute simple python programs by reading the source code [3].”

举它为例,说明神经网络可以通过读源码学习执行简单 Python 程序
Jeff Hawkins on the Limitations of Artificial Neural Networks原评论 ↗
引用deepnet · 2015-05

“An RNN learns snippets of python”

举例说明 RNN 能学会执行 Python 代码片段
The Unreasonable Effectiveness of Recurrent Neural Networks原评论 ↗
引用Smerity · 2015-06

“LSTMs have been used to perform addition with 99% accuracy^ on two 9-digit numbers[1].”

引用它说明 LSTM 能以 99% 准确率做两个 9 位数的加法
A Neural Conversational Model [pdf]原评论 ↗
被提交为 story · 2 次