按年被提到
20152016 · 2 次2026
机器学习与深度学习›神经科学启发的 AI·arXiv:1502.04156 · cs.LG

Towards Biologically Plausible Deep Learning

迈向生物学上合理的深度学习
Yoshua Bengio, Dong-Hyun Lee, Jorg Bornschein, Thomas Mesnard, Zhouhan Lin · 2015

Bengio 探索反向传播之外、更符合神经科学的学习机制

开始阅读 ↗PDFalphaXiv 讨论
被推荐 · 7 人首次 2015-09-05 · 最近 2024-01-04
7不同的人
6活跃月份
6讨论串
295被引(OpenAlex)

论文试图让深度表示学习更符合神经科学。出发点是:被认为支配突触权重更新的脉冲时序依赖可塑性(STDP)可以解释为对某个目标函数的梯度下降,前提是神经元动力学把放电率推向更好的取值。作者把这对应到变分 EM 算法,并提出只需前向和反向传播激活、由成对层学成去噪自编码器的近似梯度估计,同时扩展了自编码器的概率解释以改进采样,并在生成式学习任务上验证。

HN 为什么提它

HN 上的人在讨论反向传播在生物上是否合理、大脑如何学习时,把它当作入门起点,常说该问题至今仍未解决。

观点难度 4 / 5约 60 分钟经得起时间
读之前最好知道
1反向传播(backpropagation)
2脉冲时序依赖可塑性(STDP)
3变分 EM 算法(variational EM)
4去噪自编码器(denoising auto-encoder)
5基础神经科学

学习路径

读这篇之前,按顺序读书架上的 2 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

先弄清随机反馈权重如何绕开精确反向传播,再看变分自编码器的生成视角,之后读 Bengio 对生物上合理学习机制的设想。

  1. 1
    Random feedback weights support learning in deep neural networks随机反馈权重支持深度神经网络学习 · 2014

    它证明不需要精确对称的反向权重网络也能学,是生物上合理的反传替代方案的出发点。

    读固定随机反馈矩阵代替权重转置的做法,以及为什么前向权重会逐渐与反馈对齐。

  2. 2
    Auto-Encoding Variational Bayes自编码变分贝叶斯 · 2013

    目标论文把无监督深度表示学习放在概率生成模型的框架下讨论,VAE 是这一框架的代表。

    读变分下界(ELBO)的含义和重参数化技巧;公式细节可粗读,抓住编码器与解码器的分工。

  3. 3
    Towards Biologically Plausible Deep Learning迈向生物学上合理的深度学习 · 2015 · 就是这篇

    在前两篇的基础上,看 STDP 如何被解释为一种机器学习更新规则。

    读STDP 与梯度更新的联系、无监督表示学习的机制;对照随机反馈权重想想误差信号如何传递。

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
推荐tlb · 2016-12

“See Bengio's Biologically Plausible Deep Learning and its references for a starting point.”

推荐 Bengio 这篇及其参考文献作为起点
Backpropagation is a leaky abstraction原评论 ↗
推荐iandanforth · 2017-10

“I might start with this paper from Bengio et al. and then read more recent papers which cite it.”

建议先读这篇 Bengio 论文,再读引用它的新论文
A Theory of Sequence Memory in Neocortex原评论 ↗
引用mattkrause · 2016-12

“care of Yoshua Bengio (slide deck from NIPS 2015: [LINK] preprint: Towards Biologically Plausible Deep Learning )”

贴出 Bengio 的预印本及 NIPS 2015 幻灯片
Backpropagation is a leaky abstraction原评论 ↗
引用trott · 2017-09

“See for example: Bengio et al., "Towards Biologically Plausible Deep Learning" Towards Biologically Plausible Deep Learning”

举例说明 backprop 的生物学上合理的替代方案
Where will artificial general intelligence come from?原评论 ↗
引用ben_w · 2018-12

“there is criticism that many others are not: Towards Biologically Plausible Deep Learning”

引它批评许多深度模型并不符合生物学合理性
Why Robot Brains Need Symbols原评论 ↗
引用kmmlng · 2024-01

“but Backprop is widely believed to be biologically implausible (see e.g. Towards Biologically Plausible Deep Learning, [LINK])”

引它支持 backprop 被普遍认为生物学上不合理
Understand how transformers work by demystifying the math behind them原评论 ↗
被提交为 story · 1 次