按年被提到
20242025 · 7 次2026
大模型与语言模型›混合专家与高效训练·arXiv:2405.04434 · cs.CL

DeepSeek-V2: A Strong, Economical, and Efficient Mixture-of-Experts Language Model

DeepSeek-V2:强大、经济、高效的混合专家语言模型
DeepSeek-AI, Aixin Liu, Bei Feng, Bin Wang, Bingxuan Wang, Bo Liu, Chenggang Zhao, Chengqi Dengr, Chong Ruan, Damai Dai, Daya Guo, Dejian Yang 等 157 人 · 2024

236B 参数 MoE 模型,用 MLA 压缩 KV 缓存,训练成本降 42.5%。

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 7 人首次 2025-01-01 · 最近 2026-06-06
7不同的人
6活跃月份
8讨论串
534被引(OpenAlex)

DeepSeek-V2 是一个混合专家(MoE)语言模型,总参数 236B,每个 token 激活 21B,支持 128K 上下文。它采用多头潜在注意力(MLA)把 KV 缓存压缩成潜在向量以实现高效推理,并用 DeepSeekMoE 的稀疏计算降低训练成本。相比 DeepSeek 67B,性能显著更强,同时节省 42.5% 训练成本、KV 缓存减少 93.3%、最大生成吞吐提升到 5.76 倍;在 8.1T token 语料上预训练后又做了 SFT 和 RL。

HN 为什么提它

评论者主要把它当作多头潜在注意力(MLA,一种 KV 缓存压缩技术)的出处引用,也提到其预训练语料中中文 token 比英文约多 12%,并以它作为 DeepSeek 公开发表且被实际使用的研究的例子。

方法难度 4 / 5约 60 分钟经得起时间
读之前最好知道
1Transformer 与自注意力
2混合专家模型(Mixture-of-Experts)
3KV 缓存(KV cache)
4大模型预训练、SFT 与强化学习

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用karolist · 2025-01

“it seems this was first proposed in DeepSeek-V2?”

询问多头潜在注意力这种 KV 缓存压缩技术是否最早由这篇提出
DeepSeek's multi-head latent attention and other KV cache tricks原评论 ↗
引用korbip · 2025-02

“[15] DeepSeek-V2”

把它列为最受热捧的注意力变体 Multi-Latent Attention 的出处
Ask HN: Is anybody building an alternative transformer?原评论 ↗
引用AlexCoventry · 2025-04

“DeepSeek claims they had 12% more Chinese tokens than English, in their training corpus for DeepSeek V2, FWIW.”

提到 DeepSeek 称 V2 训练语料中中文词元比英文多 12%
Xiaomi MiMo Reasoning Model原评论 ↗
引用yorwba · 2025-05

“The explanation for Multi-head Latent Attention [LINK] does not match the definition in the DeepSeek-V2 paper DeepSeek-V2”

指出某处对 Multi-head Latent Attention 的解释与 DeepSeek-V2 论文中的定义(KV 缓存压缩)不符
Attention Wasn't All We Needed原评论 ↗
引用Palmik · 2025-12

“DeepSeek's MLA paper was published in 2024: DeepSeek-V2”

指出 DeepSeek 的 MLA 论文发表于 2024 年,即这一篇
Zebra-Llama – Towards efficient hybrid models原评论 ↗
引用Palmik · 2025-12

“Some examples from DeepSeek:”

举 DeepSeek-V2 为例,说明公开发表且被实际使用的研究
Google Titans architecture, helping AI have long-term memory原评论 ↗
看全部 7 条 →
引用gobdovan · 2026-06

“- V2 DeepSeek-V2”

把 DeepSeek-V2 列为 DeepSeek 研究论文之一
How LLMs Work原评论 ↗
被提交为 story · 1 次