按年被提到
20182024 · 2 次2026
机器学习与深度学习›深度学习理论与泛化·arXiv:1805.07091 · cs.LG

Tropical Geometry of Deep Neural Networks

深度神经网络的热带几何
Liwen Zhang, Gregory Naitzat, Lek-Heng Lim · 2018

证明 ReLU 前馈网络等价于热带有理映射,给出深度更具表达力的几何解释

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 3 人首次 2018-07-23 · 最近 2024-03-09
3不同的人
3活跃月份
3讨论串
70被引(OpenAlex)

论文首次建立带 ReLU 激活的前馈神经网络与热带几何的联系,证明这类网络的族与热带有理映射的族等价。由此推出:单隐层 ReLU 网络可由 zonotope 刻画,它们是更深网络的构件;这类网络的决策边界对应热带超曲面;线性区域对应与热带有理函数相关的多面体的顶点。热带视角还带来一个见解:更深的网络比浅层网络具有指数级更强的表达能力。

HN 为什么提它

输入中仅有一条提及,是有人在类比中借用它的热带几何视角来描述 ReLU,没有展开评价;HN 上被反复提起的原因依据不足。

其他难度 5 / 5约 60 分钟经得起时间
读之前最好知道
1ReLU 前馈神经网络
2热带几何(tropical geometry)
3多面体与 zonotope
4分段线性函数

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用ganzuul · 2024-02

“The feedback is like an exponential function fed to a ReLU.”

拿它做类比:反馈就像指数函数接 ReLU
ChatGPT went berserk原评论 ↗
被提交为 story · 2 次