引用eutropia · 2021-04
“Here's a more recent paper (March, 2021) which cites the above paper:”
补充引用该文的较新论文:预测编码可算出精确 backprop 梯度
把预测编码推广到计算图上,用局部更新精确复现反向传播
论文把预测编码(PC)及其变体 Z-IL 直接定义在计算图上,证明它可以在任意神经网络上精确实现反向微分。作者称这是第一个在参数更新方式上与反向传播等价、同时具备生物合理性的算法,试图在神经科学与深度学习之间搭桥。
HN 评论者把它当作“预测编码可以在任意网络上算出精确反向传播梯度”的较新进展来引用。
先看大脑如何可能做反向传播与变分推断,再读预测编码在任意计算图上近似反向传播,最后读本文的精确复现。
证明预测编码可在任意计算图上近似反向传播,是本文的直接前作。
读局部 Hebbian 更新如何近似梯度,以及近似成立的条件。
目标论文:把预测编码推广到计算图上,用局部更新精确复现反向传播。
读精确等价所需的修改与假设;与前作近似结果的差别。
“Here's a more recent paper (March, 2021) which cites the above paper:”
“Also, most recent state of progress: Predictive Coding Can Do Exact Backpropagation on Any Neural Network (2021)”