引用ganzuul · 2024-02
“The feedback is like an exponential function fed to a ReLU.”
拿它做类比:反馈就像指数函数接 ReLU
证明 ReLU 前馈网络等价于热带有理映射,给出深度更具表达力的几何解释
论文首次建立带 ReLU 激活的前馈神经网络与热带几何的联系,证明这类网络的族与热带有理映射的族等价。由此推出:单隐层 ReLU 网络可由 zonotope 刻画,它们是更深网络的构件;这类网络的决策边界对应热带超曲面;线性区域对应与热带有理函数相关的多面体的顶点。热带视角还带来一个见解:更深的网络比浅层网络具有指数级更强的表达能力。
输入中仅有一条提及,是有人在类比中借用它的热带几何视角来描述 ReLU,没有展开评价;HN 上被反复提起的原因依据不足。
“The feedback is like an exponential function fed to a ReLU.”