按年被提到
20162016 · 1 次2026
机器学习与深度学习›神经科学启发的 AI·arXiv:1610.06258 · stat.ML

Using Fast Weights to Attend to the Recent Past

用快速权重关注近期过去
Jimmy Ba, Geoffrey Hinton, Volodymyr Mnih, Joel Z. Leibo, Catalin Ionescu · 2016

引入变化速度介于激活与普通权重之间的“快速权重”存储短期记忆

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 3 人首次 2016-10-25 · 最近 2020-06-04
3不同的人
3活跃月份
3讨论串
146被引(OpenAlex)

指出神经网络研究长期只用神经活动和慢学习的权重两类变量,没有充分理由,而突触在多个时间尺度上都有动力学。作者提出引入变化速度比活动慢、却比普通权重快得多的“快速权重”,用来存储对近期过去的临时记忆,并为 seq2seq 模型中的“关注过去”提供一种神经上合理的实现,同时不必再存储神经活动模式的副本。

HN 为什么提它

评论者提到它是网络更新自身权重的一种思路,即快速权重。

方法难度 4 / 5约 35 分钟经得起时间
读之前最好知道
1循环神经网络(RNN/LSTM)
2注意力机制(attention)
3Hebb 学习与突触可塑性
4序列到序列(seq2seq)模型

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用albertzeyer · 2020-06

“For updating its own weights, there is the idea of fast weights.”

用快速权重说明网络可以更新自己权重的思路
GPT-3 and Scaling Trends原评论 ↗
被提交为 story · 2 次