按年被提到
20252026 · 5 次2026
大模型与语言模型›可解释性与表征研究·arXiv:2512.19428 · cs.LG

Attention Is Not What You Need

你需要的不是注意力
Zhang Chong · 2025

用 Grassmann 流取代自注意力的无注意力序列模型

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 6 人首次 2025-12-26 · 最近 2026-10-25
6不同的人
4活跃月份
6讨论串
3被引(OpenAlex)

论文质疑显式自注意力是否必要,把多头注意力看成把隐向量提升到成对交互的高维张量空间,并提出基于 Grassmann 流的无注意力架构:先线性降维,再用 Plucker 坐标把局部 token 对编码为 Grassmann 流形上的二维子空间,最后门控融合回隐状态。在 Wikitext-2 上 13 到 18M 参数的模型困惑度约在同规模 Transformer 的 10% 到 15% 以内,在 SNLI 上 Grassmann 头略优于 Transformer 头,且复杂度随序列长度线性增长。

HN 为什么提它

HN 上有人举它为例,说明要超越注意力就得利用问题本身的结构,比如几何结构。

方法难度 5 / 5约 60 分钟经得起时间
读之前最好知道
1自注意力(self-attention)与 Transformer
2Grassmann 流形与 Plucker 坐标
3语言建模与困惑度
4线性代数与微分几何基础

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用naasking · 2026-02

“I think any kind of innovation here will have to take advantage of some structure inherent to the problem, like eliminating attention in favour of geometric structures like Grassman flows [1].”

认为创新要利用问题自身结构,例如用 Grassmann 流等几何结构取代注意力
Attention at Constant Cost per Token via Symmetry-Aware Taylor Approximation原评论 ↗
被提交为 story · 5 次