引用ahzhou · 2025-01
“They slightly restructure their MoE [1], but I think the main difference is that other big models (e.g Llama 504B) are dense and have higher FLOP requirements.”
用它说明 DeepSeek 稍作重构的 MoE,主要区别在于其他大模型是稠密的
细粒度专家切分加共享专家,让 MoE 以更少计算达到稠密模型水平
传统 MoE(如 GShard 的 top-K 激活)难以保证专家专精,即各专家获得互不重叠、聚焦的知识。DeepSeekMoE 提出两个策略:把专家细分为 mN 个并激活 mK 个,使被激活专家的组合更灵活;再隔离出 Ks 个共享专家,用于捕捉通用知识、减少被路由专家的冗余。2B 规模的 DeepSeekMoE 与专家参数和计算量为 1.5 倍的 GShard 2.9B 相当,扩展到 16B 后以约 40% 的计算量媲美 LLaMA2 7B,初步扩展到 145B 时用约 28.5% 的计算量达到与 DeepSeek 67B 相当的表现。
评论者把它作为 DeepSeek 高效率背后 MoE 结构重构的出处,也有人调侃论文首图里的红色星标。
“They slightly restructure their MoE [1], but I think the main difference is that other big models (e.g Llama 504B) are dense and have higher FLOP requirements.”
“The red star in the first chart is so funny.”