按年被提到
20252025 · 3 次2026
大模型与语言模型›可解释性与表征研究·arXiv:2510.26745 · cs.LG

Deep sequence models tend to memorize geometrically; it is unclear why

深度序列模型倾向于以几何方式记忆,原因尚不清楚
Shahriar Noroozizadeh, Vaishnavh Nagarajan, Elan Rosenfeld, Sanjiv Kumar · 2025

发现模型用几何结构而非查表存储事实,并从谱偏置角度解释

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 4 人首次 2025-11-03 · 最近 2026-01-10
4不同的人
3活跃月份
4讨论串
—被引(OpenAlex)

论文指出深度序列模型除了通常认为的“联想记忆”(对共现实体的暴力查表),还存在一种截然不同的事实存储方式,作者称为几何记忆:模型合成的嵌入编码了所有实体之间的全局关系,包括训练中从未共现的实体,这能把 ℓ 次组合的难推理任务变成易学的一步导航。作者认为这种几何不能简单归因于常见的监督、架构或优化压力,因为即使它比查表更复杂也会被学到;通过与 Node2Vec 的联系,论证它源于一种自然出现的谱偏置,并提示 Transformer 记忆还有变得更几何化的空间。

HN 为什么提它

mentions 中没有可引用的评论原话,只能确定它在不同月份被多人提到,原因无法据此判断。

方法难度 5 / 5约 60 分钟经得起时间
读之前最好知道
1Transformer 架构
2嵌入(embedding)与 Node2Vec
3谱方法与谱偏置(spectral bias)
4关联记忆与知识存储理论

HN 书评

没有评论直接链到它;下面是它被提交的讨论串里回复最多的评论(不计入统计)

讨论串里没有 ≥100 字的评论,只有提交记录。

被提交为 story · 4 次