“There's been recent work on energy-based models that suggest biologically plausible methods adjacent to attention.”
按年被提到
20202020 · 3 次2026
Large Associative Memory Problem in Neurobiology and Machine Learning
神经生物学与机器学习中的大容量联想记忆问题
Dmitry Krotov, John Hopfield · 2020
给现代 Hopfield 网络一个只需两体作用的生物合理微观理论
被提及 · 3 人首次 2020-08-20 · 最近 2021-05-01
3不同的人
3活跃月份
4讨论串
96被引(OpenAlex)
稠密联想记忆(现代 Hopfield 网络)能可靠存储并检索随特征维数指数增长的记忆,但朴素实现需要神经元间的多体突触,在生物学上不合理。论文证明这些模型是一个更微观理论的有效描述,该理论引入额外的隐藏神经元,只需要两体相互作用,因而具有一定生物合理性;其动力学及降维等价形式都在最小化能量(Lyapunov)函数。把隐藏神经元积分掉后,可以恢复文献中的许多模型,包括《Hopfield Networks is All You Need》中的模型,作者还给出了该文能量函数和更新规则的另一种推导,并厘清了这类模型之间的关系。
HN 为什么提它
HN 评论者把它当作 Hopfield 本人对现代 Hopfield 网络的“生物合理”回应,并与注意力机制附近的、可能具有生物合理性的能量模型研究联系起来。
方法难度 5 / 5约 60 分钟经得起时间
读之前最好知道
1Hopfield 网络与联想记忆
2能量函数与 Lyapunov 稳定性
3注意力机制(attention)
4统计物理基础
学习路径
读这篇之前,按顺序读书架上的 2 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出先理解注意力机制,再看现代 Hopfield 网络与注意力的等价关系,最后读这篇给出的生物合理微观理论。
- 1
- 2
指出连续现代 Hopfield 网络的更新规则等价于 Transformer 注意力,是本文所在的背景。
读能量函数与更新规则,以及与注意力的对应关系。
- 3Large Associative Memory Problem in Neurobiology and Machine Learning
目标论文:给出只需两体作用的微观理论,使稠密联想记忆具备生物合理性。
读隐藏神经元的引入,以及如何还原出稠密联想记忆的有效描述。
HN 书评
推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及引用whymauri · 2020-12
提到近期基于能量的模型工作,提出与注意力相近且生物学上合理的方法
引用ArtWomb · 2021-05
“Trending as John Hopfield scheduled to present his "biologically plausible" response to the Modern Hopfield Network at ICLR next week:”
说 Hopfield 将在 ICLR 介绍对现代 Hopfield 网络的“生物学合理”回应
被提交为 story · 2 次
- Large Associative Memory Problem in Neurobiology and Machine Learning ↗beefman · 2020-08-20 · 1 分
- Large Associative Memory Problem in Neurobiology and Machine Learning ↗beefman · 2020-08-22 · 1 分