“If the results hold, they seem significant enough to me that I'd go as far as saying the authors of the paper would end up getting an important award at some point”
Predictive Coding Approximates Backprop along Arbitrary Computation Graphs
证明预测编码用局部 Hebbian 规则即可逼近任意计算图的反向传播梯度
论文证明预测编码在任意计算图上,仅用局部学习规则就能渐近地(实践中很快)收敛到与反向传播相同的梯度。基于此给出把常见网络改写成预测编码形式的通用方法,并构造了预测编码版的 CNN、RNN 和 LSTM,在基准任务上与反向传播表现相当。
HN 上的人引用它来说明存在不依赖全局反向传播、可能更易分布式或更接近生物神经回路的学习方法。
学习路径
读这篇之前,按顺序读书架上的 1 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出候选里只有一篇与目标直接相关(生物上合理的深度学习),所以路径较短:先看树突模型如何给出反向传播的生物学类比,再读预测编码如何在任意计算图上近似反向传播。
- 1
探讨大脑如何可能实现类似反向传播的信用分配,与目标论文关心的生物学合理性问题一致。
读抓多隔室神经元如何在局部实现误差信号传递的思路,不必深究具体神经生物学细节。
- 2Predictive Coding Approximates Backprop along Arbitrary Computation Graphs
目标论文:证明预测编码用局部赫布更新即可在任意计算图上近似反向传播。
读抓预测编码的能量函数和推断、学习两个阶段,以及推广到 CNN、RNN 等计算图的结果。
HN 书评
推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及“Recent progress suggests this will happen. See, for example:”
“local predictive coding converges asymptotically (and in practice rapidly) to exact backprop gradients on arbitrary computation graphs using only local learning rules”
“Predictive coding is one such method. It is isomorphic to SGD[1]”
“Predictive coding for example can approximate backprop, but requires more compute. Something in that direction might work Predictive Coding Approximates Backprop along Arbitrary Computation Graphs”
- Predictive Coding Approximates Backprop Along Arbitrary Computation Graphs (2020) ↗DanielBMarkham · 2021-05-02 · 65 分