按年被提到
20202020 · 3 次2026
机器学习与深度学习›优化与可微编程·arXiv:2003.04617 · cs.PL

Differentiate Everything with a Reversible Embeded Domain-Specific Language

用可逆嵌入式领域专用语言对一切求导
Jin-Guo Liu, Taine Zhao · 2020

用可逆嵌入式 DSL 做自动微分,免去反向传播的状态栈开销

开始阅读 ↗PDFalphaXiv 讨论
被推荐 · 3 人首次 2020-04-09 · 最近 2020-10-11
3不同的人
3活跃月份
3讨论串
1被引(OpenAlex)

反向模式自动微分需要回溯中间状态,传统的检查点方法要维护全局栈,开销很大。论文改用“反向计算”:设计一个可逆编程的嵌入式 DSL,程序可以双向执行而无需隐式栈操作,因此能复用现有编译器优化并编译成 GPU 内核。作者用稀疏矩阵运算和部分机器学习应用实现了自动微分,展示了先进的性能。

HN 为什么提它

评论者对它惊叹不已:给定一个一对一的 Julia 函数 f,这个包就能生成其逆 ~f,并巧妙地借助了自动微分。

方法难度 4 / 5约 40 分钟经得起时间
读之前最好知道
1反向模式自动微分(reverse-mode AD)
2可逆计算与可逆编程
3Julia 语言与嵌入式 DSL
4检查点(checkpointing)技术

学习路径

读这篇之前,按顺序读书架上的 3 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

这条路径先了解 Julia 语言,再看基于源码变换的反向自动微分(Zygote)和可逆计算的背景,最后读基于可逆 DSL 的自动微分如何避开状态栈开销。

  1. 1
    Julia: A Fast Dynamic Language for Technical ComputingJulia:面向技术计算的快速动态语言 · 2012

    目标论文的可逆 DSL 嵌入在 Julia 中,需要了解 Julia 的多重分派和元编程能力。

    读泛型函数、类型推断带来高性能的设计;元编程部分留意即可。

  2. 2
    Don't Unroll Adjoint: Differentiating SSA-Form Programs不要展开伴随:对 SSA 形式程序做微分 · 2018

    Zygote 代表对程序做源码变换的反向自动微分,是目标论文要比较和改进的传统方案。

    读对 SSA 形式程序做反向微分的思路,以及中间状态为何需要保存。

  3. 3
    Mechanical Computing Systems Using Only Links and Rotary Joints仅用连杆和转动关节构成的机械计算系统 · 2018

    展示可逆、保持信息的计算系统,与目标论文用「反向计算」来取回中间状态的想法相呼应。

    读以可逆计算为背景的部分;机械实现细节不必深读。

  4. 4
    Differentiate Everything with a Reversible Embeded Domain-Specific Language用可逆嵌入式领域专用语言对一切求导 · 2020 · 就是这篇

    用可逆嵌入式 DSL 做自动微分,通过反向计算而不是检查点栈来取回中间状态。

    读先读反向模式 AD 的空间开销问题,再看可逆语言的设计与 AD 的实现。

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
推荐snicker7 · 2020-10

“Incredible. Given a (one-to-one) Julia function `f`, this package generates `~f`, the inverse of f. Clever use of automatic differentiation.”

称赞它很惊艳:借自动微分生成 Julia 函数的逆函数
Nilang.jl – A Reversible Julia DSL原评论 ↗
被提交为 story · 2 次