按年被提到
20152015 · 2 次2026
机器学习与深度学习›神经网络架构探索·arXiv:1505.00387 · cs.LG

Highway Networks

Highway Networks
Rupesh Kumar Srivastava, Klaus Greff, Jürgen Schmidhuber · 2015

用门控单元让上百层的网络能直接用 SGD 训练

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 4 人首次 2015-05-09 · 最近 2019-03-27
4不同的人
4活跃月份
4讨论串
913被引(OpenAlex)

网络越深越难训练,极深网络的训练当时仍是开放问题。这篇扩展摘要提出 highway 网络架构,用可学习的门控单元调节信息在网络中的流动,让信息能在多层之间不受阻碍地沿“信息高速公路”传递;数百层的 highway 网络可直接用随机梯度下降训练,并适用于多种激活函数。

HN 为什么提它

评论者把 highway 层与 LSTM、GRU、批归一化、残差块并列为深度网络的标准构件,并提到 Schmidhuber 实验室提出了更一般的“旁路”思路来训练深网。

方法难度 3 / 5约 20 分钟经得起时间
读之前最好知道
1前馈神经网络与反向传播
2梯度消失与梯度爆炸
3门控机制(如 LSTM)
4随机梯度下降(SGD)

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用336f5 · 2015-08

“Very deep NNs, which try to bypass the training difficulties in propagating error all the way from the bottom to the top”

用它说明极深网络靠跨层捷径绕开误差传播的训练困难
Towards Neural Network-based Reasoning原评论 ↗
引用walrus · 2016-04

“higher level building blocks like LSTMs[1], gated recurrent units[2], highway layers[3], batch normalization[4], and residual blocks[5]”

把 highway layers 列为深度网络的标准构件之一
Tinker with a Neural Network in Your Browser原评论 ↗
引用orbifold · 2019-03

“Ironically Schmidhuber's lab also came up with a more general version of bypassing Highway Networks to train deep networks”

指出 Schmidhuber 实验室也提出过更一般的旁路方式来训练深度网络
Yann LeCun, Geoffrey Hinton and Yoshua Bengio win Turing Award原评论 ↗
被提交为 story · 1 次