按年被提到
20212021 · 3 次2026
机器学习与深度学习›神经科学启发的 AI·arXiv:2103.04689 · cs.LG

Reverse Differentiation via Predictive Coding

通过预测编码实现反向微分
Tommaso Salvatori, Yuhang Song, Thomas Lukasiewicz, Rafal Bogacz, Zhenghua Xu · 2021

把预测编码推广到计算图上,用局部更新精确复现反向传播

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 3 人首次 2021-04-05 · 最近 2021-06-03
3不同的人
3活跃月份
3讨论串
19被引(OpenAlex)

论文把预测编码(PC)及其变体 Z-IL 直接定义在计算图上,证明它可以在任意神经网络上精确实现反向微分。作者称这是第一个在参数更新方式上与反向传播等价、同时具备生物合理性的算法,试图在神经科学与深度学习之间搭桥。

HN 为什么提它

HN 评论者把它当作“预测编码可以在任意网络上算出精确反向传播梯度”的较新进展来引用。

方法难度 4 / 5约 40 分钟经得起时间
读之前最好知道
1反向传播(backpropagation)
2预测编码(predictive coding)
3计算图(computational graph)
4多层感知机(MLP)

学习路径

读这篇之前,按顺序读书架上的 3 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

先看大脑如何可能做反向传播与变分推断,再读预测编码在任意计算图上近似反向传播,最后读本文的精确复现。

  1. 1
    Towards deep learning with segregated dendrites迈向基于分隔树突的深度学习 · 2016

    说明大脑可能用多隔室神经元实现深度学习,是反向传播生物合理性问题的背景。

    读树突分隔如何提供局部误差信号。

  2. 2
    Variational Inference: A Review for Statisticians变分推断:面向统计学家的综述 · 2016

    预测编码建立在变分推断之上,帮助理解其中的自由能。

    读变分推断的目标(ELBO)与平均场近似。

  3. 3
    Predictive Coding Approximates Backprop along Arbitrary Computation Graphs预测编码可在任意计算图上近似反向传播 · 2020

    证明预测编码可在任意计算图上近似反向传播,是本文的直接前作。

    读局部 Hebbian 更新如何近似梯度,以及近似成立的条件。

  4. 4
    Reverse Differentiation via Predictive Coding通过预测编码实现反向微分 · 2021 · 就是这篇

    目标论文:把预测编码推广到计算图上,用局部更新精确复现反向传播。

    读精确等价所需的修改与假设;与前作近似结果的差别。

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用eutropia · 2021-04

“Here's a more recent paper (March, 2021) which cites the above paper:”

补充引用该文的较新论文:预测编码可算出精确 backprop 梯度
Predictive coding has been unified with backpropagation原评论 ↗
引用pishpash · 2021-05

“Also, most recent state of progress: Predictive Coding Can Do Exact Backpropagation on Any Neural Network (2021)”

指出最新进展:预测编码可在任意神经网络上做到精确 backprop
Predictive Coding Approximates Backprop Along Arbitrary Computation Graphs (2020)原评论 ↗
被提交为 story · 1 次