按年被提到
20252025 · 3 次2026
Deep sequence models tend to memorize geometrically; it is unclear why
深度序列模型倾向于以几何方式记忆,原因尚不清楚
Shahriar Noroozizadeh, Vaishnavh Nagarajan, Elan Rosenfeld, Sanjiv Kumar · 2025
发现模型用几何结构而非查表存储事实,并从谱偏置角度解释
被提及 · 4 人首次 2025-11-03 · 最近 2026-01-10
4不同的人
3活跃月份
4讨论串
—被引(OpenAlex)
论文指出深度序列模型除了通常认为的“联想记忆”(对共现实体的暴力查表),还存在一种截然不同的事实存储方式,作者称为几何记忆:模型合成的嵌入编码了所有实体之间的全局关系,包括训练中从未共现的实体,这能把 ℓ 次组合的难推理任务变成易学的一步导航。作者认为这种几何不能简单归因于常见的监督、架构或优化压力,因为即使它比查表更复杂也会被学到;通过与 Node2Vec 的联系,论证它源于一种自然出现的谱偏置,并提示 Transformer 记忆还有变得更几何化的空间。
HN 为什么提它
mentions 中没有可引用的评论原话,只能确定它在不同月份被多人提到,原因无法据此判断。
方法难度 5 / 5约 60 分钟经得起时间
读之前最好知道
1Transformer 架构
2嵌入(embedding)与 Node2Vec
3谱方法与谱偏置(spectral bias)
4关联记忆与知识存储理论
HN 书评
没有评论直接链到它;下面是它被提交的讨论串里回复最多的评论(不计入统计)讨论串里没有 ≥100 字的评论,只有提交记录。
被提交为 story · 4 次
- Deep sequence models tend to memorize geometrically ↗jonbaer · 2025-11-03 · 3 分
- Deep sequence models tend to memorize geometrically; it is unclear why ↗amichail · 2025-11-06 · 4 分
- Deep sequence models tend to memorize geometrically; it is unclear why ↗tzury · 2025-12-29 · 3 分
- Deep sequence models tend to memorize geometrically; it is unclear why ↗erhuve · 2026-01-10 · 1 分