按年被提到
20142014 · 1 次2026
机器学习与深度学习›神经科学启发的 AI·arXiv:1411.0247 · q-bio.NC

Random feedback weights support learning in deep neural networks

随机反馈权重支持深度神经网络学习
Timothy P. Lillicrap, Daniel Cownden, Douglas B. Tweed, Colin J. Akerman · 2014

用随机固定的反馈权重代替精确反传,网络依然能学会

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 3 人首次 2014-11-28 · 最近 2017-03-21
3不同的人
3活跃月份
3讨论串
89被引(OpenAlex)

反向传播要求把下游突触权重精确地传回去,这在大脑中被认为不可能。论文提出一种出人意料地简单的算法:用随机的突触权重去乘误差信号来分配“责任”,网络仍能从这些随机反馈连接中学到有用信息。作者称这一机制在多种问题上与反向传播一样快、一样准,并以此说明神经回路学习的算法约束没有想象的那么严。

HN 为什么提它

评论者用它说明反馈权重并不需要是精确的梯度也能支持学习,并指出这一初步发现发表在这篇预印本里。

方法难度 4 / 5约 50 分钟经得起时间
读之前最好知道
1反向传播(backpropagation)
2神经网络基础
3突触可塑性与神经科学基础
4线性代数

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用taliesinb · 2016-08

“but it does show that feedback weights that aren't computing the actual derivative dloss/din can till support learning.”

拿它说明反馈权重即使不是真实梯度 dloss/din 也能支持学习
Decoupled Neural Interfaces Using Synthetic Gradients原评论 ↗
引用etiam · 2017-03

“but the initial finding by Lilllicrap et al. has been published as a preprint: Random feedback weights support learning in deep neural networks”

指出 Lillicrap 等人的最初发现:固定随机反馈权重无需 backprop 即可训练深度网络
Deep Learning without Backpropagation原评论 ↗
被提交为 story · 1 次