按年被提到
20212022 · 5 次2026
机器学习与深度学习›神经科学启发的 AI·arXiv:2112.04035 · cs.NE

Relating transformers to models and neural representations of the hippocampal formation

将 Transformer 与海马结构的模型及神经表征相联系
James C. R. Whittington, Joseph Warren, Timothy E. J. Behrens · 2021

带循环位置编码的 Transformer 能复现海马的位置细胞与网格细胞

开始阅读 ↗PDFalphaXiv 讨论
被推荐 · 8 人首次 2022-04-11 · 最近 2025-11-03
8不同的人
7活跃月份
9讨论串
81被引(OpenAlex)

作者表明,配备循环位置编码的 Transformer 能复现海马结构中精细调谐的空间表征,尤其是位置细胞和网格细胞,并说明这并不意外,因为它与神经科学中现有的海马模型密切相关。文中还显示 Transformer 版本相比神经科学版本有大幅的性能提升,并据此推测更广的皮层区域如何完成语言理解等复杂任务。

HN 为什么提它

评论者在讨论 Transformer 与大脑的相似性、位置编码或可解释模型时引用它,作为人工网络和海马模型共享结构的证据,也有人对其说法持怀疑态度。

实证研究难度 4 / 5约 60 分钟经得起时间
读之前最好知道
1Transformer 架构与位置编码
2海马体(hippocampal formation)与位置细胞、网格细胞
3路径积分(path integration)
4计算神经科学基础
5循环神经网络(RNN)

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
推荐gfodor · 2022-04

“Worth considering: Relating transformers to models and neural representations of the hippocampal formation”

推荐这篇把 Transformer 与海马结构神经表征联系起来的论文
Playing with DALL-E 2原评论 ↗
推荐soraki_soladead · 2024-06

“You might enjoy this paper[0] which shows that recurrent position encodings recover grid cell representations and maps to path integration found in a popular model of the hippocampus.”

推荐它:循环位置编码能还原网格细胞表征,对应海马模型中的路径积分
A most profound video game: a good cognitive aid for research原评论 ↗
推荐triclops200 · 2025-11

“I also recommend Relating transformers to models and neural representations of the hippocampal formation, but, in short, transformer models have functions and emergent structures”

推荐它,说明 Transformer 的功能与涌现结构和海马模型有相通之处
The Case That A.I. Is Thinking原评论 ↗
引用macrolime · 2022-12

“might make it more relevant though”

引用这项把 Transformer 与海马神经科学模型联系起来的研究,增强相关性
Ask HN: How to get back into AI?原评论 ↗
引用utopcell · 2024-01

“Here [1] are some "frauds" from Stanford University, Oxford University and University College London telling you exactly that.”

引用这几家名校作者的论文,反讽式地指出它声称 Transformer 能复现海马体位置细胞和网格细胞
Understand how transformers work by demystifying the math behind them原评论 ↗
引用triclops200 · 2024-09

“solving a similar problem to Relating transformers to models and neural representations of the hippocampal formation, but with the additional constraint of forward functional interpretability”

拿它类比 KAN 的简化问题,都在解决类似问题,但多了前向功能可解释性的约束
Kolmogorov-Arnold networks may make neural networks more understandable原评论 ↗
被提交为 story · 3 次