按年被提到
20202021 · 4 次2026
机器学习与深度学习›优化与可微编程·arXiv:2006.04182 · cs.LG

Predictive Coding Approximates Backprop along Arbitrary Computation Graphs

预测编码可在任意计算图上近似反向传播
Beren Millidge, Alexander Tschantz, Christopher L. Buckley · 2020

证明预测编码用局部 Hebbian 规则即可逼近任意计算图的反向传播梯度

开始阅读 ↗PDFalphaXiv 讨论
被推荐 · 5 人首次 2021-04-05 · 最近 2024-05-12
5不同的人
4活跃月份
6讨论串
99被引(OpenAlex)

论文证明预测编码在任意计算图上,仅用局部学习规则就能渐近地(实践中很快)收敛到与反向传播相同的梯度。基于此给出把常见网络改写成预测编码形式的通用方法,并构造了预测编码版的 CNN、RNN 和 LSTM,在基准任务上与反向传播表现相当。

HN 为什么提它

HN 上的人引用它来说明存在不依赖全局反向传播、可能更易分布式或更接近生物神经回路的学习方法。

方法难度 4 / 5约 60 分钟经得起时间
读之前最好知道
1反向传播与自动微分(automatic differentiation)
2计算图
3预测编码(predictive coding)
4Hebbian 学习与生物合理性
5变分推断基础

学习路径

读这篇之前,按顺序读书架上的 1 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

候选里只有一篇与目标直接相关(生物上合理的深度学习),所以路径较短:先看树突模型如何给出反向传播的生物学类比,再读预测编码如何在任意计算图上近似反向传播。

  1. 1
    Towards deep learning with segregated dendrites迈向基于分隔树突的深度学习 · 2016

    探讨大脑如何可能实现类似反向传播的信用分配,与目标论文关心的生物学合理性问题一致。

    读抓多隔室神经元如何在局部实现误差信号传递的思路,不必深究具体神经生物学细节。

  2. 2
    Predictive Coding Approximates Backprop along Arbitrary Computation Graphs预测编码可在任意计算图上近似反向传播 · 2020 · 就是这篇

    目标论文:证明预测编码用局部赫布更新即可在任意计算图上近似反向传播。

    读抓预测编码的能量函数和推断、学习两个阶段,以及推广到 CNN、RNN 等计算图的结果。

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
推荐cs702 · 2021-04

“If the results hold, they seem significant enough to me that I'd go as far as saying the authors of the paper would end up getting an important award at some point”

认为结果若成立意义重大,作者甚至可能获重要奖项
Predictive coding has been unified with backpropagation原评论 ↗
引用cs702 · 2021-04

“Recent progress suggests this will happen. See, for example:”

作为近期进展的例子,说明局部学习可近似 backprop
Cerebras’ new monster AI chip adds 1.4T transistors原评论 ↗
引用etienne618 · 2021-04

“local predictive coding converges asymptotically (and in practice rapidly) to exact backprop gradients on arbitrary computation graphs using only local learning rules”

引用其结论:局部预测编码仅用局部学习规则即可收敛到精确 backprop 梯度
The Fourier transform is a neural network原评论 ↗
引用kelseyfrog · 2023-09

“Predictive coding is one such method. It is isomorphic to SGD[1]”

把预测编码当作一种不依赖 backprop 的学习方法,并提到它与 SGD 同构
What Is an Emotion? William James’s Theory of How Our Bodies Affect Our Feelings原评论 ↗
引用macrolime · 2024-05

“Predictive coding for example can approximate backprop, but requires more compute. Something in that direction might work Predictive Coding Approximates Backprop along Arbitrary Computation Graphs”

拿它说明预测编码能近似 backprop,只是算力开销更大
Energy, not compute, will be the #1 bottleneck to AI progress – Mark Zuckerberg [video]原评论 ↗
被提交为 story · 1 次