按年被提到
20202020 · 5 次2026
机器学习与深度学习›神经网络架构探索·arXiv:2008.02217 · cs.NE

Hopfield Networks is All You Need

Hopfield 网络就是你所需要的一切
Hubert Ramsauer, Bernhard Schäfl, Johannes Lehner, Philipp Seidl, Michael Widrich, Thomas Adler, Lukas Gruber, Markus Holzleitner, Milena Pavlović, Geir Kjetil Sandve, Victor Greiff, David Kreil 等 16 人 · 2020

现代连续 Hopfield 网络的更新规则等价于 Transformer 注意力

开始阅读 ↗PDFalphaXiv 讨论
被推荐 · 14 人首次 2020-08-06 · 最近 2025-08-04
14不同的人
10活跃月份
14讨论串
371被引(OpenAlex)

提出带连续状态的现代 Hopfield 网络,其存储容量随维度指数增长,一次更新即可检索,检索误差呈指数级小。其更新规则等价于 Transformer 的注意力机制,据此可刻画各注意力头的行为。作者还把 Hopfield 层作为可插入的深度学习层,在多示例学习、免疫库分类、UCI 小数据分类和两个药物设计数据集上取得当时最好的结果。

HN 为什么提它

HN 上的人用它说明 Transformer 的注意力可以看作 Hopfield 式的联想记忆,常在讨论 Transformer 的工作原理或其后继架构时引用。

奠基之作难度 5 / 5约 90 分钟经得起时间
读之前最好知道
1Transformer 与注意力机制
2Hopfield 网络与联想记忆(associative memory)
3能量函数与不动点(fixed point)
4多示例学习(multiple instance learning)

学习路径

读这篇之前,按顺序读书架上的 6 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

先理解外部记忆与注意力的演化(NTM、软对齐、Transformer),再读记忆网络与联想记忆相关工作,最后看现代 Hopfield 网络如何与注意力等价。

  1. 1
    Neural Turing Machines神经图灵机 · 2014

    可微外部记忆的基础,联想记忆视角的前身之一。

    读基于内容的寻址(content-based addressing)与读写头。

  2. 2
    Neural Machine Translation by Jointly Learning to Align and Translate通过联合学习对齐与翻译实现神经机器翻译 · 2014

    注意力机制的起源,目标论文要证明它与 Hopfield 更新规则等价。

    读软对齐权重的计算方式(softmax 加权求和)。

  3. 3
    Attention Is All You Need注意力就是你所需要的一切 · 2017

    目标论文的核心结论是 Hopfield 更新规则等价于 Transformer 注意力,需先熟悉后者。

    读缩放点积注意力与多头注意力;跳过实验部分。

  4. 4
    End-To-End Memory Networks端到端记忆网络 · 2015

    多跳注意力读取外部记忆,与目标论文把注意力视为记忆检索的看法相近。

    读多跳读取机制与记忆嵌入。

  5. 5
    Using Fast Weights to Attend to the Recent Past用快速权重关注近期过去 · 2016

    快速权重作为短期联想记忆,同属联想记忆与注意力关联的早期工作。

    读快速权重存储近期状态的想法。

  6. 6
    Large Associative Memory Problem in Neurobiology and Machine Learning神经生物学与机器学习中的大容量联想记忆问题 · 2020

    同期的现代 Hopfield 网络理论,并明确与 Transformer 注意力联系,可与目标论文对照。

    读大容量联想记忆的能量函数与它和注意力的联系。

  7. 7
    Hopfield Networks is All You NeedHopfield 网络就是你所需要的一切 · 2020 · 就是这篇

    目标论文:连续状态的现代 Hopfield 网络,更新规则等价于注意力,并给出存储容量分析。

    读能量函数与更新规则、三类不动点,以及与 Transformer 注意力的对应;再看在深度网络里作为层的用法。

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
推荐flowtheorist · 2022-02

“For why these things are essentially mangled compression engines one can take a look at "Hopfield Networks is all you need": Hopfield Networks is All You Need.”

引用它说明 Transformer 本质上是编码训练数据的 Hopfield 记忆模块
Ask HN: Is GitHub Copilot / IntelliCode Legal?原评论 ↗
推荐macrolocal · 2022-09

“More accessible references:”

作为更易懂的参考,说明现代 Hopfield 网络与注意力和 Hebbian 学习的联系
Transformers seem to mimic parts of the brain原评论 ↗
引用KhoomeiK · 2020-12

“This one got a lot of buzz on HN so I won't talk about it too much”

提到它在 HN 上已有很多讨论,不再多说,它把注意力分析为经典 Hopfield 网络
Ask HN: What's the best paper you've read in 2020?原评论 ↗
引用sillysaurusx · 2021-08

“Hopfield networks were once popular, and are now popular again: Hopfield Networks is All You Need”

说 Hopfield 网络曾流行、如今再度流行,以现代 Hopfield 网络为例
Introduction to Convolutional Neural Networks原评论 ↗
引用sfriedr · 2023-07

“Another candidate that wasn't compares against (or at least argued why it wouldn't make sense to compare against) are the Hopfield Networks”

指出未被比较的另一候选是 Hopfield 网络,它揭示了注意力的理论事实
Retentive Network: A Successor to Transformer for Large Language Models原评论 ↗
引用whimsicalism · 2023-07

“Neither of those papers are NLP applicable?”

质疑这些论文是否适用于 NLP,并把 Hopfield 注意力论文当作 Transformer 的替代候选
Retentive Network: A Successor to Transformer for Large Language Models原评论 ↗
看全部 9 条 →
引用adamnemecek · 2024-03

“This is not surprising considering the paper”

说考虑到这篇论文并不意外,它早已把现代 Hopfield 网络与注意力联系起来
Short-term Hebbian learning can implement transformer-like attention原评论 ↗
引用igleria · 2025-02

“This immediately makes my mind bring up Hopfield networks Hopfield Networks is All You Need”

由此联想到现代 Hopfield 网络,作为联想记忆,而旧版本显得不实用
LM2: Large Memory Models原评论 ↗
引用korbip · 2025-02

“[1] Hopfield Networks is All You Need”

把它当作保留二次复杂度注意力的理论论据
Ask HN: Is anybody building an alternative transformer?原评论 ↗
被提交为 story · 6 次