按年被提到
20242024 · 3 次2026
大模型与语言模型›可解释性与表征研究·arXiv:2402.15332 · cs.LG

Position: Categorical Deep Learning is an Algebraic Theory of All Architectures

立场论文:范畴深度学习是所有架构的代数理论
Bruno Gavranović, Paul Lessard, Andrew Dudzik, Tamara von Glehn, João G. M. Araújo, Petar Veličković · 2024

用范畴论的单子代数统一描述神经网络架构的立场论文

开始阅读 ↗PDFalphaXiv 讨论
被推荐 · 3 人首次 2024-04-10 · 最近 2024-08-31
3不同的人
3活跃月份
3讨论串
8被引(OpenAlex)

论文认为现有的通用架构框架缺少把“模型必须满足的约束”与“具体实现”连起来的桥梁,主张用范畴论,具体说是以参数化映射 2-范畴为值的单子的通用代数,来同时刻画两者。作者展示该理论能还原几何深度学习所诱导的约束,也能给出 RNN 等多种架构的实现,并能编码计算机科学与自动机理论中的许多标准构造。

HN 为什么提它

评论者把它当作用范畴论为神经网络提供结构化归纳偏置的有趣方向来推荐,也有人引用这篇即将在 ICML 发表的论文作为例子。

观点难度 5 / 5约 90 分钟经得起时间
读之前最好知道
1范畴论(category theory)
2单子(monad)与通用代数(universal algebra)
3几何深度学习(geometric deep learning)
4循环神经网络(RNN)

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
推荐bubblyworld · 2024-08

“actually produced an interesting paper in this direction”

推荐这篇朝此方向做出的有意思的论文,用范畴视角看架构
Alexander Grothendieck原评论 ↗
引用taliesinb · 2024-06

“Our upcoming ICML paper gives some flavor Position”

贴出自己即将发表于 ICML 的论文,用范畴论给神经网络赋予结构化归纳偏置
Ask HN: Who is hiring? (June 2024)原评论 ↗
被提交为 story · 1 次