“See Bengio's Biologically Plausible Deep Learning and its references for a starting point.”
Towards Biologically Plausible Deep Learning
Bengio 探索反向传播之外、更符合神经科学的学习机制
论文试图让深度表示学习更符合神经科学。出发点是:被认为支配突触权重更新的脉冲时序依赖可塑性(STDP)可以解释为对某个目标函数的梯度下降,前提是神经元动力学把放电率推向更好的取值。作者把这对应到变分 EM 算法,并提出只需前向和反向传播激活、由成对层学成去噪自编码器的近似梯度估计,同时扩展了自编码器的概率解释以改进采样,并在生成式学习任务上验证。
HN 上的人在讨论反向传播在生物上是否合理、大脑如何学习时,把它当作入门起点,常说该问题至今仍未解决。
学习路径
读这篇之前,按顺序读书架上的 2 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出先弄清随机反馈权重如何绕开精确反向传播,再看变分自编码器的生成视角,之后读 Bengio 对生物上合理学习机制的设想。
- 1
它证明不需要精确对称的反向权重网络也能学,是生物上合理的反传替代方案的出发点。
读固定随机反馈矩阵代替权重转置的做法,以及为什么前向权重会逐渐与反馈对齐。
- 2
目标论文把无监督深度表示学习放在概率生成模型的框架下讨论,VAE 是这一框架的代表。
读变分下界(ELBO)的含义和重参数化技巧;公式细节可粗读,抓住编码器与解码器的分工。
- 3Towards Biologically Plausible Deep Learning
在前两篇的基础上,看 STDP 如何被解释为一种机器学习更新规则。
读STDP 与梯度更新的联系、无监督表示学习的机制;对照随机反馈权重想想误差信号如何传递。
HN 书评
推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及“I might start with this paper from Bengio et al. and then read more recent papers which cite it.”
“care of Yoshua Bengio (slide deck from NIPS 2015: [LINK] preprint: Towards Biologically Plausible Deep Learning )”
“See for example: Bengio et al., "Towards Biologically Plausible Deep Learning" Towards Biologically Plausible Deep Learning”
“there is criticism that many others are not: Towards Biologically Plausible Deep Learning”
“but Backprop is widely believed to be biologically implausible (see e.g. Towards Biologically Plausible Deep Learning, [LINK])”
- Towards Biologically Plausible Deep Learning ↗dennybritz · 2015-09-05 · 4 分