按年被提到
20202020 · 3 次2026
机器学习与深度学习›神经科学启发的 AI·arXiv:2008.06996 · q-bio.NC

Large Associative Memory Problem in Neurobiology and Machine Learning

神经生物学与机器学习中的大容量联想记忆问题
Dmitry Krotov, John Hopfield · 2020

给现代 Hopfield 网络一个只需两体作用的生物合理微观理论

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 3 人首次 2020-08-20 · 最近 2021-05-01
3不同的人
3活跃月份
4讨论串
96被引(OpenAlex)

稠密联想记忆(现代 Hopfield 网络)能可靠存储并检索随特征维数指数增长的记忆,但朴素实现需要神经元间的多体突触,在生物学上不合理。论文证明这些模型是一个更微观理论的有效描述,该理论引入额外的隐藏神经元,只需要两体相互作用,因而具有一定生物合理性;其动力学及降维等价形式都在最小化能量(Lyapunov)函数。把隐藏神经元积分掉后,可以恢复文献中的许多模型,包括《Hopfield Networks is All You Need》中的模型,作者还给出了该文能量函数和更新规则的另一种推导,并厘清了这类模型之间的关系。

HN 为什么提它

HN 评论者把它当作 Hopfield 本人对现代 Hopfield 网络的“生物合理”回应,并与注意力机制附近的、可能具有生物合理性的能量模型研究联系起来。

方法难度 5 / 5约 60 分钟经得起时间
读之前最好知道
1Hopfield 网络与联想记忆
2能量函数与 Lyapunov 稳定性
3注意力机制(attention)
4统计物理基础

学习路径

读这篇之前,按顺序读书架上的 2 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

先理解注意力机制,再看现代 Hopfield 网络与注意力的等价关系,最后读这篇给出的生物合理微观理论。

  1. 1
    Attention Is All You Need注意力就是你所需要的一切 · 2017

    理解 Hopfield 更新规则与注意力等价的前提。

    读缩放点积注意力中 softmax 的作用。

  2. 2
    Hopfield Networks is All You NeedHopfield 网络就是你所需要的一切 · 2020

    指出连续现代 Hopfield 网络的更新规则等价于 Transformer 注意力,是本文所在的背景。

    读能量函数与更新规则,以及与注意力的对应关系。

  3. 3
    Large Associative Memory Problem in Neurobiology and Machine Learning神经生物学与机器学习中的大容量联想记忆问题 · 2020 · 就是这篇

    目标论文:给出只需两体作用的微观理论,使稠密联想记忆具备生物合理性。

    读隐藏神经元的引入,以及如何还原出稠密联想记忆的有效描述。

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用whymauri · 2020-12

“There's been recent work on energy-based models that suggest biologically plausible methods adjacent to attention.”

提到近期基于能量的模型工作,提出与注意力相近且生物学上合理的方法
Every Model Learned by Gradient Descent Is Approximately a Kernel Machine原评论 ↗
引用ArtWomb · 2021-05

“Trending as John Hopfield scheduled to present his "biologically plausible" response to the Modern Hopfield Network at ICLR next week:”

说 Hopfield 将在 ICLR 介绍对现代 Hopfield 网络的“生物学合理”回应
Hopfield Networks Is All You Need原评论 ↗
被提交为 story · 2 次