“Given that the MTP strategy has been validated in DeepSeek-V3, we adopt the same strategy for DeepSeek-V4 series without modification.”
按年被提到
20262026 · 4 次2026
DeepSeek-V4: Towards Highly Efficient Million-Token Context Intelligence
DeepSeek-V4:迈向高效的百万 token 上下文智能
DeepSeek-AI, Anyi Xu, Bangcai Lin, Bing Xue, Bingxuan Wang, Bingzheng Xu, Bochao Wu, Bowei Zhang, Chaofan Lin, Chen Dong, Chenchen Ling, Chengda Lu 等 319 人 · 2026
支持百万上下文的 MoE 模型,混合压缩注意力大幅降低推理开销
被提及 · 4 人首次 2026-06-21 · 最近 2026-09-09
4不同的人
3活跃月份
3讨论串
55被引(OpenAlex)
报告发布 DeepSeek-V4 系列预览版,包含 1.6T 参数(49B 激活)的 DeepSeek-V4-Pro 与 284B 参数(13B 激活)的 DeepSeek-V4-Flash 两个 MoE 模型,均支持一百万 token 上下文。主要升级有三点:结合 Compressed Sparse Attention 与 Heavily Compressed Attention 的混合注意力、增强残差连接的 Manifold-Constrained Hyper-Connections(mHC),以及使用 Muon 优化器以加快收敛和提升稳定性;模型在 32T 以上 token 上预训练,并经完整后训练流程。在百万 token 设置下,V4-Pro 的单 token 推理 FLOPs 仅为 DeepSeek-V3.2 的 27%,KV cache 仅为 10%。
HN 为什么提它
评论者从论文里摘取具体细节:沿用 V3 的 MTP 策略且深度为 1、百万上下文的显存数字,以及确定性、批不变内核的设计目标。
实证研究难度 5 / 5约 90 分钟有时效性
读之前最好知道
1混合专家(MoE)
2Transformer 注意力与 KV cache
3多 token 预测(MTP)
4大模型预训练与后训练流程
5Muon 等优化器
HN 书评
推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及引用wolttam · 2026-06
引用论文:V4 沿用 V3 已验证的 MTP 策略,未作修改
引用doctorpangloss · 2026-06
“from the paper, both v4 flash and pro trained MTP depth to 1”
引用论文:V4 flash 和 pro 的 MTP 深度都训练为 1
引用throwdbaaway · 2026-07
“based on the numbers shared in DeepSeek-V4.”
以论文给出的数字为依据,估算 DeepSeek-V4 百万 token 上下文的内存
引用gpugreg · 2026-09
“Determinism was an explicit goal of DeepSeek-V4. From their paper: DeepSeek-V4”
引用论文说明确定性是 V4 的明确目标:位级 batch 不变的确定性 kernel