按年被提到
20172018 · 3 次2026
机器学习与深度学习›优化与可微编程·arXiv:1711.10455 · math.CT

Backprop as Functor: A compositional perspective on supervised learning

反向传播即函子:监督学习的组合视角
Brendan Fong, David I. Spivak, Rémy Tuyéras · 2017

用范畴论把梯度下降和反向传播刻画为幺半函子

开始阅读 ↗PDFalphaXiv 讨论
被推荐 · 5 人首次 2018-02-21 · 最近 2021-04-05
5不同的人
5活跃月份
5讨论串
87被引(OpenAlex)

监督学习算法在由参数空间 P 参数化的一族函数 A→B 中搜索,找出对某个理想函数的最佳逼近,办法是取样例并按某种规则更新参数。论文定义了一个可以组合这些更新规则的范畴,并证明在步长固定且误差函数满足某种性质时,梯度下降定义了从参数化函数范畴到该更新规则范畴的幺半函子。这为反向传播提供了结构性视角,也是对神经网络的广泛推广。

HN 为什么提它

HN 上的人在讨论反向传播的代数结构、自动微分的函数式视角和预测编码的组合结构时推荐它,并称赞作者是做出色研究的人。

奠基之作难度 5 / 5约 60 分钟经得起时间
读之前最好知道
1范畴论(category theory)
2幺半范畴与函子(monoidal functor)
3反向传播与梯度下降
4函数式编程基础

学习路径

读这篇之前,按顺序读书架上的 2 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

候选里只有两篇在方法上与目标相关:一篇给出范畴论基础语言,一篇是同样用范畴论的组合式建模。读完再看反向传播的函子刻画。

  1. 1
    Physics, Topology, Logic and Computation: A Rosetta Stone物理、拓扑、逻辑与计算:罗塞塔石碑 · 2009

    它用通俗方式介绍幺半范畴与函子,是读目标论文所需的范畴论语言。

    读幺半范畴、函子与串图的直观图示;只需建立基本概念,不用读完物理部分。

  2. 2
    Compositional game theory组合博弈论 · 2016

    它同样用对称幺半范畴为一个领域建立组合式描述,与目标论文的做法相近。

    读开放系统通过范畴组合的想法,可与反向传播中学习器的组合对照。

  3. 3
    Backprop as Functor: A compositional perspective on supervised learning反向传播即函子:监督学习的组合视角 · 2017 · 就是这篇

    把前面的范畴工具用到监督学习,把梯度下降和反向传播表示成幺半函子。

    读参数化函数的范畴、学习器的组合,以及反向传播作为函子的主定理。

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
推荐danharaj · 2018-03

“The two authors are doing great research, like this investigation of the algebra of backpropagation [3].”

称赞两位作者的研究,如这项关于反向传播代数的探讨
Applied Category Theory原评论 ↗
推荐formalsystem · 2019-04

“You may be interested in this paper too Backprop as Functor”

推荐它,从函数式编程角度看 backprop 与自动微分
Applied Category Theory原评论 ↗
引用f00_ · 2018-02

“it came to my attention that the spaCy backend (thinc) is built with higher order functions instead of a computational graph”

提到 spaCy 后端 thinc 用高阶函数而非计算图构建,与该论文思路相关
NLP concepts with spaCy tutorial原评论 ↗
引用tsmithe · 2021-04

“In fact, the compositional structure underlying that of predictive coding [0,1] is abstractly the same as that underlying backprop [2].”

指出预测编码与 backprop 的组合结构在抽象层面相同
Predictive coding has been unified with backpropagation原评论 ↗
被提交为 story · 1 次