按年被提到
20162016 · 1 次2026
软件工程与 AI 编程›代码生成与程序合成·arXiv:1608.04428 · cs.LG

TerpreT: A Probabilistic Programming Language for Program Induction

TerpreT:用于程序归纳的概率编程语言
Alexander L. Gaunt, Marc Brockschmidt, Rishabh Singh, Nate Kushman, Pushmeet Kohli, Jonathan Taylor, Daniel Tarlow · 2016

用领域专用语言比较各种归纳程序合成的推断算法

开始阅读 ↗PDFalphaXiv 讨论
被推荐 · 5 人首次 2016-08-17 · 最近 2024-05-26
5不同的人
5活跃月份
5讨论串
75被引(OpenAlex)

论文研究归纳程序合成的机器学习表述:给定输入输出样例,合成能产生对应输出的源代码。核心贡献是 TerpreT,一种类似概率编程语言的 DSL,把程序表示与解释器模型的规范同推断算法分离,使得从同一份规范出发可自动用梯度下降、LP 松弛、离散可满足性求解和 Sketch 四种后端做推断。实验的关键发现是:约束求解器优于基于梯度下降和 LP 的方案。

HN 为什么提它

评论者用它说明梯度下降并不是程序归纳与程序搜索的万能方法,提供了一个梯度下降吃力的具体问题的例子。

方法难度 4 / 5约 60 分钟经得起时间
读之前最好知道
1归纳程序合成(program synthesis)
2概率图模型与概率编程
3梯度下降与 LP 松弛
4SAT / SMT 约束求解

学习路径

读这篇之前,按顺序读书架上的 4 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

这条路径先建立「可微外部记忆与可微程序解释器」这一类神经程序归纳模型的认识,再读 TerpreT 如何用统一的 DSL 把它们和传统约束求解放在一起比较。

  1. 1
    Neural Turing Machines神经图灵机 · 2014

    神经图灵机是 TerpreT 所比较的神经程序归纳路线的起点:用可微记忆学习简单算法。

    读读控制器加读写头的结构,以及基于内容和基于位置的寻址;复制、排序等任务的结果可略读。

  2. 2
    Learning to Transduce with Unbounded Memory学习使用无界记忆进行序列转换 · 2015

    把栈、队列等结构做成可微记忆,是神经程序归纳里另一类归纳偏置。

    读抓可微栈 / 队列的连续化操作思路,以及它如何让网络更容易泛化到更长的序列。

  3. 3

    NPI 用程序嵌入和核心网络学习调用子程序,是神经程序合成的代表之一。

    读抓核心网络、程序记忆和环境编码三部分如何协作;关注它需要强监督(执行轨迹)这一点。

  4. 4
    Programming with a Differentiable Forth Interpreter用可微分的 Forth 解释器编程 · 2016

    ∂4 用可微 Forth 解释器配合程序草图,只需输入输出样例,与 TerpreT 研究的问题设定最接近。

    读抓程序草图加可微解释器的思路:哪些部分写死、哪些空位由梯度下降填;对比 TerpreT 中的同类设定。

  5. 5
    TerpreT: A Probabilistic Programming Language for Program InductionTerpreT:用于程序归纳的概率编程语言 · 2016 · 就是这篇

    目标论文:用统一的 DSL 描述程序合成问题,并比较梯度下降、线性规划、SMT 等多种后端。

    读先看 TerpreT 语言怎样描述程序与解释器,再看不同推断后端的对比实验;重点是为什么梯度方法在许多问题上不如传统求解器。

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
推荐bmc7505 · 2021-09

“If you are interested in learning more about the limits of gradient descent, you should look into the TerpreT problem [1].”

推荐想了解梯度下降局限的人看 TerpreT 问题
The Great AI Reckoning原评论 ↗
引用rapidcheckout · 2018-01

“See also this paper for a comparison of programming by example using gradient descent versus more standard alternatives:”

补充一篇比较梯度下降与更传统方法做示例编程的论文
Programming with a Differentiable Forth Interpreter (2016)原评论 ↗
引用mabrocks · 2022-06

“If you're interested in these kinds of things, many years ago we created TerpreT (TerpreT and [LINK]) to look into generic program synthesis problems”

介绍自己多年前做的 TerpreT,用来研究通用程序合成问题
Differentiable Finite State Machines原评论 ↗
引用justinnk · 2024-05

“gradient descent may not always be the best approach to such problems (e.g., TerpreT).”

引用它说明梯度下降未必是这类问题的最佳办法
Show HN: Boldly go where Gradient Descent has never gone before with DiscoGrad原评论 ↗
被提交为 story · 1 次