按年被提到
20252025 · 8 次2026
大模型与语言模型›长上下文与测试时计算·arXiv:2502.11089 · cs.CL

Native Sparse Attention: Hardware-Aligned and Natively Trainable Sparse Attention

原生稀疏注意力:硬件对齐且可原生训练的稀疏注意力
Jingyang Yuan, Huazuo Gao, Damai Dai, Junyu Luo, Liang Zhao, Zhengyan Zhang, Zhenda Xie, Y. X. Wei, Lean Wang, Zhiping Xiao, Yuqing Wang, Chong Ruan 等 15 人 · 2025

可端到端训练、对齐硬件的稀疏注意力 NSA,在 64k 序列上显著加速。

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 7 人首次 2025-02-18 · 最近 2025-12-07发表于 Proceedings of the conference - Association for Computational Linguistics. Meeting
7不同的人
4活跃月份
8讨论串
97被引(OpenAlex)

论文提出 NSA,一种可原生训练的稀疏注意力机制,把算法创新和硬件对齐的优化结合起来,以高效处理长上下文。它用动态分层稀疏策略,把粗粒度 token 压缩与细粒度 token 选择结合,兼顾全局上下文感知和局部精度。预训练实验显示,NSA 模型在通用基准、长上下文任务和指令式推理上不低于完整注意力模型,同时在 64k 长度序列的解码、前向和反向传播上都明显加速。

HN 为什么提它

评论者把它当作稀疏/块注意力是 Transformer 有前景方向的例子,也把它作为 DeepSeek 公开发表且被实际使用的研究的例证。

方法难度 4 / 5约 40 分钟经得起时间
读之前最好知道
1Transformer 自注意力与计算复杂度
2稀疏注意力
3GPU 内核与算术强度
4长上下文建模

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用boroboro4 · 2025-04

“And sparse/block attention seems like a way forward much more.”

认为稀疏 / 块注意力更像是前进方向
Bamba: An open-source LLM that crosses a transformer with an SSM原评论 ↗
引用Palmik · 2025-12

“DeepSeek's Sparse Attention paper was published in February: Native Sparse Attention”

指出 DeepSeek 的稀疏注意力论文发表于二月
Zebra-Llama – Towards efficient hybrid models原评论 ↗
引用Palmik · 2025-12

“Some examples from DeepSeek:”

举 DeepSeek 的 native sparse attention 为公开发表且被实际使用的研究例子
Google Titans architecture, helping AI have long-term memory原评论 ↗
被提交为 story · 5 次