推荐bubblyworld · 2024-08
“actually produced an interesting paper in this direction”
推荐这篇朝此方向做出的有意思的论文,用范畴视角看架构
用范畴论的单子代数统一描述神经网络架构的立场论文
论文认为现有的通用架构框架缺少把“模型必须满足的约束”与“具体实现”连起来的桥梁,主张用范畴论,具体说是以参数化映射 2-范畴为值的单子的通用代数,来同时刻画两者。作者展示该理论能还原几何深度学习所诱导的约束,也能给出 RNN 等多种架构的实现,并能编码计算机科学与自动机理论中的许多标准构造。
评论者把它当作用范畴论为神经网络提供结构化归纳偏置的有趣方向来推荐,也有人引用这篇即将在 ICML 发表的论文作为例子。
“actually produced an interesting paper in this direction”
“Our upcoming ICML paper gives some flavor Position”