按年被提到
20162016 · 3 次2026
机器学习与深度学习›优化与可微编程·arXiv:1605.06640 · cs.NE

Programming with a Differentiable Forth Interpreter

用可微分的 Forth 解释器编程
Matko Bošnjak, Tim Rocktäschel, Jason Naradowsky, Sebastian Riedel · 2016

端到端可微的 Forth 解释器,程序草图的空位由数据训练

开始阅读 ↗PDFalphaXiv 讨论
被推荐 · 5 人首次 2016-05-24 · 最近 2022-08-01
5不同的人
4活跃月份
6讨论串
93被引(OpenAlex)

针对训练数据稀缺、需要引入先验知识的问题,论文提出一个端到端可微的 Forth 语言解释器,程序员可以写带空位的程序草图,空位处的行为由输入输出数据训练,并可用梯度下降直接优化。实验表明它能有效利用不同程度的程序结构先验,学会序列排序和加法等复杂行为;与 LSTM 连接并联合训练后,在用自然语言故事表达的数量推理上达到了当时最好的准确率。

HN 为什么提它

评论者把它当作最接近「写一段 Forth 程序,把部分函数留作可由样例学习的神经黑盒」这一想法的工作,也拿它作可微编程系统的例子。

方法难度 4 / 5约 40 分钟经得起时间
读之前最好知道
1Forth 语言与栈机器
2神经网络与 LSTM
3程序归纳(program induction)
4可微编程(differentiable programming)

学习路径

读这篇之前,按顺序读书架上的 6 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

这条路径帮我建立神经程序归纳的背景:seq2seq 与算法学习任务、带外部记忆的网络,再到 NPI,然后读 ∂4 如何把程序草图与可微解释器结合。

  1. 1
    Sequence to Sequence Learning with Neural Networks用神经网络进行序列到序列学习 · 2014

    seq2seq 是后续一系列学习算法模型的基础范式,∂4 的实验里也以它为对照。

    读抓编码器-解码器框架与其在长序列上的局限。

  2. 2
    Learning to Execute学习执行 · 2014

    展示了 LSTM 学习执行简短程序的能力与局限,这类任务是 ∂4 的对比对象。

    读抓字符级程序执行任务、课程学习的做法。

  3. 3
    Neural Turing Machines神经图灵机 · 2014

    神经图灵机引入可微外部记忆,是 ∂4 要对比和改进的主要基线之一。

    读抓读写头、基于内容和位置的寻址;以及它学算法时泛化不稳定的问题。

  4. 4
    Inferring Algorithmic Patterns with Stack-Augmented Recurrent Nets用栈增强的循环网络推断算法模式 · 2015

    给循环网络加可微栈,是用结构化记忆注入归纳偏置的另一例。

    读抓可微栈的 push / pop 连续化,以及计数类任务的结果。

  5. 5
    Learning to Transduce with Unbounded Memory学习使用无界记忆进行序列转换 · 2015

    可微的栈、队列、双端队列记忆,是 ∂4 比较的神经基线。

    读抓栈和队列记忆的连续化与它们在转换任务上的泛化表现。

  6. 6

    NPI 学习调用子程序,展示神经方法对程序结构的建模;∂4 则允许用程序草图来写入先验。

    读抓核心网络加程序记忆的结构,并对比它的强监督需求与 ∂4 只用输入输出样例的不同。

  7. 7
    Programming with a Differentiable Forth Interpreter用可微分的 Forth 解释器编程 · 2016 · 就是这篇

    目标论文:端到端可微的 Forth 解释器,程序员写草图、数据填空位。

    读重点读可微 Forth 抽象机的设计(数据栈、返回栈、缓冲区)、草图的槽位写法,以及排序、加法实验。

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
推荐sapphireblue · 2016-07

“And, the most closest work to what author probably wants, a way to write a program in forth while leaving some functions as neural blackboxes to be learned from examples:”

推荐与作者所需最接近的工作:Forth 程序中留神经网络黑箱函数
How AI based programming could work原评论 ↗
引用aab0 · 2016-07

“So it's just a char-RNN? I was hoping this was using one of the seq2seq frameworks for actually writing code, like Programming with a Differentiable Forth Interpreter”

原本期待用类似这篇的 seq2seq 框架写代码,而非 char-RNN
Teaching an AI to write Python code with Python code原评论 ↗
引用twouhm · 2018-01

“but both are on my to-read pile.”

说这篇还在自己的待读清单上
Linear logic and deep learning [pdf]原评论 ↗
引用kragen · 2022-08

“An example of a differentiable programming system is in Programming with a Differentiable Forth Interpreter”

举它作为可微分编程系统的例子
Differentiable programming from scratch原评论 ↗
被提交为 story · 2 次