引用boroboro4 · 2025-04
“And sparse/block attention seems like a way forward much more.”
认为稀疏 / 块注意力更像是前进方向
可端到端训练、对齐硬件的稀疏注意力 NSA,在 64k 序列上显著加速。
论文提出 NSA,一种可原生训练的稀疏注意力机制,把算法创新和硬件对齐的优化结合起来,以高效处理长上下文。它用动态分层稀疏策略,把粗粒度 token 压缩与细粒度 token 选择结合,兼顾全局上下文感知和局部精度。预训练实验显示,NSA 模型在通用基准、长上下文任务和指令式推理上不低于完整注意力模型,同时在 64k 长度序列的解码、前向和反向传播上都明显加速。
评论者把它当作稀疏/块注意力是 Transformer 有前景方向的例子,也把它作为 DeepSeek 公开发表且被实际使用的研究的例证。
“And sparse/block attention seems like a way forward much more.”
“DeepSeek's Sparse Attention paper was published in February: Native Sparse Attention”
“Some examples from DeepSeek:”