引用btown · 2026-08
“Advancements like Kimi Linear seem to indicate that we're far from the finish line”
借 Kimi Linear 一类进展说明离终点还远
混合线性注意力架构,在公平对比下首次全面胜过完整注意力
论文提出 Kimi Linear,一种混合线性注意力架构,核心是 Kimi Delta Attention(KDA):在 Gated DeltaNet 基础上加入更细粒度的门控,更有效地利用有限的 RNN 状态记忆,并配有基于特化 DPLR 转移矩阵的分块算法以提升硬件效率。作者预训练了 3B 激活、48B 总参数的 KDA 与 MLA 逐层混合模型,在相同训练配方下,各评测任务上都明显优于完整 MLA,同时 KV cache 最多减少 75%,在 1M 上下文下解码吞吐最高达 6 倍。
评论者以它为例,说明高效的混合线性注意力架构仍在进步,说明模型架构离终点还远。
“Advancements like Kimi Linear seem to indicate that we're far from the finish line”