“The two authors are doing great research, like this investigation of the algebra of backpropagation [3].”
Backprop as Functor: A compositional perspective on supervised learning
用范畴论把梯度下降和反向传播刻画为幺半函子
监督学习算法在由参数空间 P 参数化的一族函数 A→B 中搜索,找出对某个理想函数的最佳逼近,办法是取样例并按某种规则更新参数。论文定义了一个可以组合这些更新规则的范畴,并证明在步长固定且误差函数满足某种性质时,梯度下降定义了从参数化函数范畴到该更新规则范畴的幺半函子。这为反向传播提供了结构性视角,也是对神经网络的广泛推广。
HN 上的人在讨论反向传播的代数结构、自动微分的函数式视角和预测编码的组合结构时推荐它,并称赞作者是做出色研究的人。
学习路径
读这篇之前,按顺序读书架上的 2 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出候选里只有两篇在方法上与目标相关:一篇给出范畴论基础语言,一篇是同样用范畴论的组合式建模。读完再看反向传播的函子刻画。
- 1
它用通俗方式介绍幺半范畴与函子,是读目标论文所需的范畴论语言。
读幺半范畴、函子与串图的直观图示;只需建立基本概念,不用读完物理部分。
- 2
- 3Backprop as Functor: A compositional perspective on supervised learning
把前面的范畴工具用到监督学习,把梯度下降和反向传播表示成幺半函子。
读参数化函数的范畴、学习器的组合,以及反向传播作为函子的主定理。
HN 书评
推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及“You may be interested in this paper too Backprop as Functor”
“it came to my attention that the spaCy backend (thinc) is built with higher order functions instead of a computational graph”
“In fact, the compositional structure underlying that of predictive coding [0,1] is abstractly the same as that underlying backprop [2].”
- Backprop as Functor: A compositional perspective on supervised learning [pdf] ↗espeed · 2018-12-12 · 2 分