“For why these things are essentially mangled compression engines one can take a look at "Hopfield Networks is all you need": Hopfield Networks is All You Need.”
Hopfield Networks is All You Need
现代连续 Hopfield 网络的更新规则等价于 Transformer 注意力
提出带连续状态的现代 Hopfield 网络,其存储容量随维度指数增长,一次更新即可检索,检索误差呈指数级小。其更新规则等价于 Transformer 的注意力机制,据此可刻画各注意力头的行为。作者还把 Hopfield 层作为可插入的深度学习层,在多示例学习、免疫库分类、UCI 小数据分类和两个药物设计数据集上取得当时最好的结果。
HN 上的人用它说明 Transformer 的注意力可以看作 Hopfield 式的联想记忆,常在讨论 Transformer 的工作原理或其后继架构时引用。
学习路径
读这篇之前,按顺序读书架上的 6 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出先理解外部记忆与注意力的演化(NTM、软对齐、Transformer),再读记忆网络与联想记忆相关工作,最后看现代 Hopfield 网络如何与注意力等价。
- 1
- 2
注意力机制的起源,目标论文要证明它与 Hopfield 更新规则等价。
读软对齐权重的计算方式(softmax 加权求和)。
- 3
- 4
- 5
- 6
同期的现代 Hopfield 网络理论,并明确与 Transformer 注意力联系,可与目标论文对照。
读大容量联想记忆的能量函数与它和注意力的联系。
- 7Hopfield Networks is All You Need
目标论文:连续状态的现代 Hopfield 网络,更新规则等价于注意力,并给出存储容量分析。
读能量函数与更新规则、三类不动点,以及与 Transformer 注意力的对应;再看在深度网络里作为层的用法。
HN 书评
推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及“More accessible references:”
“This one got a lot of buzz on HN so I won't talk about it too much”
“Hopfield networks were once popular, and are now popular again: Hopfield Networks is All You Need”
“Another candidate that wasn't compares against (or at least argued why it wouldn't make sense to compare against) are the Hopfield Networks”
“Neither of those papers are NLP applicable?”
看全部 9 条 →
“This is not surprising considering the paper”
“This immediately makes my mind bring up Hopfield networks Hopfield Networks is All You Need”
“[1] Hopfield Networks is All You Need”
- Hopfield Networks Is All You Need ↗MAXPOOL · 2020-08-06 · 4 分
- Hopfield Networks Is All You Need ↗orbifold · 2020-08-14 · 2 分
- Hopfield Networks Is All You Need ↗mihau · 2020-08-26 · 4 分
- Hopfield Networks Is All You Need ↗bra-ket · 2020-08-28 · 3 分
- Transformers Connected to Hopfield Networks ↗korbip · 2021-06-16 · 3 分
- Hopfield Networks Is All You Need (2020) ↗liamdgray · 2025-08-04 · 41 分