按年被提到
20182018 · 3 次2026
机器学习与深度学习›优化与可微编程·arXiv:1803.10228 · cs.LG

Demystifying Differentiable Programming: Shift/Reset the Penultimate Backpropagator

揭秘可微编程:用 Shift/Reset 实现倒数第二代反向传播器
Fei Wang, Daniel Zheng, James Decker, Xilun Wu, Grégory M. Essertel, Tiark Rompf · 2018

揭示反向模式自动微分与定界续延的联系,并结合多阶段编程提速

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 6 人首次 2018-04-03 · 最近 2021-02-13
6不同的人
7活跃月份
7讨论串
62被引(OpenAlex)

论文重新审视自动微分(AD),指出反向模式 AD 与定界续延(delimited continuations)紧密相关,因此只靠运算符重载、不需要额外数据结构就能实现。作者进一步把这种写法与多阶段编程(staging)结合,得到高效实现,兼具 TensorFlow 这类显式计算图框架的性能与 PyTorch 这类纯库方法的表达力。

HN 为什么提它

评论者在讨论可微编程和自动微分时引用它,作为 shift/reset 路线的代表,也提到它与多阶段编程(Scala)的结合,并吐槽标题太「俏皮」。

方法难度 5 / 5约 90 分钟经得起时间
读之前最好知道
1自动微分(automatic differentiation)与反向传播
2定界续延(delimited continuations,shift/reset)
3多阶段编程(multi-stage programming)
4函数式编程与运算符重载

学习路径

读这篇之前,按顺序读书架上的 2 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

候选里与核心主题(自动微分、定界续延、多阶段编程)直接相关的很少,只能从对可微编程的动机和动态计算图两个角度补一点背景。

  1. 1
    Learning to Transduce with Unbounded Memory学习使用无界记忆进行序列转换 · 2015

    为循环网络加入可微的栈、队列等数据结构,是更一般的可微编程的例子。

    读抓可微数据结构如何在网络里通过连续松弛实现。

  2. 2

    动态计算图框架如何在运行时批处理操作,与反向传播的实现方式相关。

    读抓动态计算图的构建与批处理的想法,不必细看实验。

  3. 3
    Demystifying Differentiable Programming: Shift/Reset the Penultimate Backpropagator揭秘可微编程:用 Shift/Reset 实现倒数第二代反向传播器 · 2018 · 就是这篇

    揭示反向模式自动微分与定界续延之间的联系,并用多阶段编程提速。

    读抓用 shift/reset 实现反向传播的核心构造,及其与多阶段编程结合后的速度表现。

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用YorkshireSeason · 2018-11

“Demystifying Differentiable Programming: Shift/Reset the Penultimate Backpropagator, see [1], and [4] for a presentation based on this paper.”

补充 Baydin 综述遗漏的 shift/reset 可微编程论文
Automatic Differentiation in Machine Learning: A Survey [pdf]原评论 ↗
引用JadeNB · 2019-02

“Want, Wu, Essertel, Decker, and Rompf - Demystifying differentiable programming: shift/reset the penultimate backpropagator, a title which is entirely too cute for its own good.”

列出这篇论文,吐槽标题过于俏皮
What Is Differentiable Programming?原评论 ↗
引用johnnycerberus · 2021-02

“There is a paper published in 2019 from Purdue University where they show how AD can be combined with multi-stage programming in Scala.”

提到这篇把 AD 与 Scala 多阶段编程结合的论文
Swift for TensorFlow Shuts Down原评论 ↗
被提交为 story · 4 次