按年被提到
20252026 · 3 次2026
视觉、语音与图像生成›ViT 与视觉新架构·arXiv:2510.26692 · cs.CL

Kimi Linear: An Expressive, Efficient Attention Architecture

Kimi Linear:一种富有表达力且高效的注意力架构
Kimi Team, Yu Zhang, Zongyu Lin, Xingcheng Yao, Jiaxi Hu, Fanqing Meng, Chengyin Liu, Xin Men, Songlin Yang, Zhiyuan Li, Wentao Li, Enzhe Lu 等 60 人 · 2025

混合线性注意力架构,在公平对比下首次全面胜过完整注意力

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 4 人首次 2025-11-03 · 最近 2026-08-10
4不同的人
3活跃月份
4讨论串
—被引(OpenAlex)

论文提出 Kimi Linear,一种混合线性注意力架构,核心是 Kimi Delta Attention(KDA):在 Gated DeltaNet 基础上加入更细粒度的门控,更有效地利用有限的 RNN 状态记忆,并配有基于特化 DPLR 转移矩阵的分块算法以提升硬件效率。作者预训练了 3B 激活、48B 总参数的 KDA 与 MLA 逐层混合模型,在相同训练配方下,各评测任务上都明显优于完整 MLA,同时 KV cache 最多减少 75%,在 1M 上下文下解码吞吐最高达 6 倍。

HN 为什么提它

评论者以它为例,说明高效的混合线性注意力架构仍在进步,说明模型架构离终点还远。

方法难度 5 / 5约 60 分钟经得起时间
读之前最好知道
1Transformer 注意力与 KV cache
2线性注意力与状态空间模型
3Delta rule 与 Gated DeltaNet
4混合专家(MoE)与 MLA
5GPU 内核与分块计算

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用btown · 2026-08

“Advancements like Kimi Linear seem to indicate that we're far from the finish line”

借 Kimi Linear 一类进展说明离终点还远
How I use LLMs to learn complex topics原评论 ↗
被提交为 story · 3 次