“it seems this was first proposed in DeepSeek-V2?”
按年被提到
20242025 · 7 次2026
DeepSeek-V2: A Strong, Economical, and Efficient Mixture-of-Experts Language Model
DeepSeek-V2:强大、经济、高效的混合专家语言模型
DeepSeek-AI, Aixin Liu, Bei Feng, Bin Wang, Bingxuan Wang, Bo Liu, Chenggang Zhao, Chengqi Dengr, Chong Ruan, Damai Dai, Daya Guo, Dejian Yang 等 157 人 · 2024
236B 参数 MoE 模型,用 MLA 压缩 KV 缓存,训练成本降 42.5%。
被提及 · 7 人首次 2025-01-01 · 最近 2026-06-06
7不同的人
6活跃月份
8讨论串
534被引(OpenAlex)
DeepSeek-V2 是一个混合专家(MoE)语言模型,总参数 236B,每个 token 激活 21B,支持 128K 上下文。它采用多头潜在注意力(MLA)把 KV 缓存压缩成潜在向量以实现高效推理,并用 DeepSeekMoE 的稀疏计算降低训练成本。相比 DeepSeek 67B,性能显著更强,同时节省 42.5% 训练成本、KV 缓存减少 93.3%、最大生成吞吐提升到 5.76 倍;在 8.1T token 语料上预训练后又做了 SFT 和 RL。
HN 为什么提它
评论者主要把它当作多头潜在注意力(MLA,一种 KV 缓存压缩技术)的出处引用,也提到其预训练语料中中文 token 比英文约多 12%,并以它作为 DeepSeek 公开发表且被实际使用的研究的例子。
方法难度 4 / 5约 60 分钟经得起时间
读之前最好知道
1Transformer 与自注意力
2混合专家模型(Mixture-of-Experts)
3KV 缓存(KV cache)
4大模型预训练、SFT 与强化学习
HN 书评
推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及引用karolist · 2025-01
询问多头潜在注意力这种 KV 缓存压缩技术是否最早由这篇提出
引用korbip · 2025-02
“[15] DeepSeek-V2”
把它列为最受热捧的注意力变体 Multi-Latent Attention 的出处
引用AlexCoventry · 2025-04
“DeepSeek claims they had 12% more Chinese tokens than English, in their training corpus for DeepSeek V2, FWIW.”
提到 DeepSeek 称 V2 训练语料中中文词元比英文多 12%
引用yorwba · 2025-05
“The explanation for Multi-head Latent Attention [LINK] does not match the definition in the DeepSeek-V2 paper DeepSeek-V2”
指出某处对 Multi-head Latent Attention 的解释与 DeepSeek-V2 论文中的定义(KV 缓存压缩)不符
引用Palmik · 2025-12
“DeepSeek's MLA paper was published in 2024: DeepSeek-V2”
指出 DeepSeek 的 MLA 论文发表于 2024 年,即这一篇
引用Palmik · 2025-12
“Some examples from DeepSeek:”
举 DeepSeek-V2 为例,说明公开发表且被实际使用的研究
看全部 7 条 →
引用gobdovan · 2026-06
“- V2 DeepSeek-V2”
把 DeepSeek-V2 列为 DeepSeek 研究论文之一
被提交为 story · 1 次
- DeepSeek-V2: A Strong, Economical, and Efficient MOE Language Model ↗sonabinu · 2025-01-01 · 3 分