推荐snicker7 · 2020-10
“Incredible. Given a (one-to-one) Julia function `f`, this package generates `~f`, the inverse of f. Clever use of automatic differentiation.”
称赞它很惊艳:借自动微分生成 Julia 函数的逆函数
用可逆嵌入式 DSL 做自动微分,免去反向传播的状态栈开销
反向模式自动微分需要回溯中间状态,传统的检查点方法要维护全局栈,开销很大。论文改用“反向计算”:设计一个可逆编程的嵌入式 DSL,程序可以双向执行而无需隐式栈操作,因此能复用现有编译器优化并编译成 GPU 内核。作者用稀疏矩阵运算和部分机器学习应用实现了自动微分,展示了先进的性能。
评论者对它惊叹不已:给定一个一对一的 Julia 函数 f,这个包就能生成其逆 ~f,并巧妙地借助了自动微分。
这条路径先了解 Julia 语言,再看基于源码变换的反向自动微分(Zygote)和可逆计算的背景,最后读基于可逆 DSL 的自动微分如何避开状态栈开销。
目标论文的可逆 DSL 嵌入在 Julia 中,需要了解 Julia 的多重分派和元编程能力。
读泛型函数、类型推断带来高性能的设计;元编程部分留意即可。
Zygote 代表对程序做源码变换的反向自动微分,是目标论文要比较和改进的传统方案。
读对 SSA 形式程序做反向微分的思路,以及中间状态为何需要保存。
展示可逆、保持信息的计算系统,与目标论文用「反向计算」来取回中间状态的想法相呼应。
读以可逆计算为背景的部分;机械实现细节不必深读。
用可逆嵌入式 DSL 做自动微分,通过反向计算而不是检查点栈来取回中间状态。
读先读反向模式 AD 的空间开销问题,再看可逆语言的设计与 AD 的实现。
“Incredible. Given a (one-to-one) Julia function `f`, this package generates `~f`, the inverse of f. Clever use of automatic differentiation.”