引用albertzeyer · 2020-06
“For updating its own weights, there is the idea of fast weights.”
用快速权重说明网络可以更新自己权重的思路
引入变化速度介于激活与普通权重之间的“快速权重”存储短期记忆
指出神经网络研究长期只用神经活动和慢学习的权重两类变量,没有充分理由,而突触在多个时间尺度上都有动力学。作者提出引入变化速度比活动慢、却比普通权重快得多的“快速权重”,用来存储对近期过去的临时记忆,并为 seq2seq 模型中的“关注过去”提供一种神经上合理的实现,同时不必再存储神经活动模式的副本。
评论者提到它是网络更新自身权重的一种思路,即快速权重。
“For updating its own weights, there is the idea of fast weights.”