按年被提到
20242024 · 2 次2026
大模型与语言模型›混合专家与高效训练·arXiv:2401.06066 · cs.CL

DeepSeekMoE: Towards Ultimate Expert Specialization in Mixture-of-Experts Language Models

DeepSeekMoE:迈向混合专家语言模型的极致专家专精
Damai Dai, Chengqi Deng, Chenggang Zhao, R. X. Xu, Huazuo Gao, Deli Chen, Jiashi Li, Wangding Zeng, Xingkai Yu, Y. Wu, Zhenda Xie, Y. K. Li 等 17 人 · 2024

细粒度专家切分加共享专家,让 MoE 以更少计算达到稠密模型水平

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 4 人首次 2024-01-17 · 最近 2025-01-29发表于 Proceedings of the conference - Association for Computational Linguistics. Meeting
4不同的人
3活跃月份
4讨论串
294被引(OpenAlex)

传统 MoE(如 GShard 的 top-K 激活)难以保证专家专精,即各专家获得互不重叠、聚焦的知识。DeepSeekMoE 提出两个策略:把专家细分为 mN 个并激活 mK 个,使被激活专家的组合更灵活;再隔离出 Ks 个共享专家,用于捕捉通用知识、减少被路由专家的冗余。2B 规模的 DeepSeekMoE 与专家参数和计算量为 1.5 倍的 GShard 2.9B 相当,扩展到 16B 后以约 40% 的计算量媲美 LLaMA2 7B,初步扩展到 145B 时用约 28.5% 的计算量达到与 DeepSeek 67B 相当的表现。

HN 为什么提它

评论者把它作为 DeepSeek 高效率背后 MoE 结构重构的出处,也有人调侃论文首图里的红色星标。

方法难度 4 / 5约 50 分钟经得起时间
读之前最好知道
1混合专家模型(Mixture-of-Experts)与 GShard
2Transformer 前馈层(FFN)
3专家路由与负载均衡
4语言模型预训练与评测

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用ahzhou · 2025-01

“They slightly restructure their MoE [1], but I think the main difference is that other big models (e.g Llama 504B) are dense and have higher FLOP requirements.”

用它说明 DeepSeek 稍作重构的 MoE,主要区别在于其他大模型是稠密的
Meta scrambling 'war rooms' of engineers to figure out DeepSeek's AI原评论 ↗
玩笑xtracto · 2025-01

“The red star in the first chart is so funny.”

On DeepSeek and export controls原评论 ↗
被提交为 story · 2 次