引用ilaksh · 2017-03
“Decoupled Neural Interfaces using Synthetic Gradients, somewhat similar to autoencoder/decoder pair use in”
拿它类比 autoencoder/decoder 配对的用法,视为通向 AGI 的构件
用预测的合成梯度代替真实反传梯度,让网络各模块异步独立更新
为打破网络各层必须等待前向执行和误差反传完成才能更新的“锁定”,引入对网络未来计算的模型,仅凭局部信息预测子图的输出,重点是建模误差梯度。用合成梯度取代真实反传梯度后,各子图可独立、异步地更新,文中展示了前馈网络逐层异步训练、RNN 预测未来梯度以延长建模时间、以及不同时间尺度的分层 RNN,还表明同一框架能预测输入,使网络在前向和反向都解耦。
评论者把它视为类似自编码器/解码器配对的构件,认为合成梯度可能是通向 AGI 的积木之一。
候选中与合成梯度关系较直接的是循环网络序列建模,先了解 RNN 训练的背景,再读合成梯度如何解耦模块更新。
典型的长序列 RNN 模型,反传必须等待整个展开过程,凸显模块被锁定的问题
读理解 LSTM 沿时间展开训练的流程,思考其中更新被延迟的地方
用预测的合成梯度解耦各模块的前向与反向
读看合成梯度模型的定义与训练方式,以及在前馈和循环网络里的应用
“Decoupled Neural Interfaces using Synthetic Gradients, somewhat similar to autoencoder/decoder pair use in”