按年被提到
20242024 · 3 次2026
大模型与语言模型›混合专家与高效训练·arXiv:2401.04088 · cs.LG

Mixtral of Experts

Mixtral 专家混合模型
Albert Q. Jiang, Alexandre Sablayrolles, Antoine Roux, Arthur Mensch, Blanche Savary, Chris Bamford, Devendra Singh Chaplot, Diego de las Casas, Emma Bou Hanna, Florian Bressand, Gianna Lengyel, Guillaume Bour 等 26 人 · 2024

Mixtral 8x7B:稀疏专家混合,每词元只激活两个专家

开始阅读 ↗PDFalphaXiv 讨论
被推荐 · 5 人首次 2024-01-09 · 最近 2026-07-10
5不同的人
4活跃月份
5讨论串
1,507被引(OpenAlex)

介绍稀疏专家混合(SMoE)语言模型 Mixtral 8x7B:架构与 Mistral 7B 相同,但每层有 8 个前馈块(专家),路由网络为每个词元在每层选两个专家处理并合并输出。每个词元可接触 47B 参数,推理时只用 13B 活跃参数;上下文长度 32k,在所有评测基准上优于或持平 Llama 2 70B 和 GPT-3.5,数学、代码和多语言上远超 Llama 2 70B,基础和指令版均以 Apache 2.0 发布。

HN 为什么提它

HN 上的人把它当作了解稀疏专家混合如何工作的参考,并引用其路由分析说明专家按词元切换、并不按主题分工。

方法难度 3 / 5约 30 分钟有时效性
读之前最好知道
1Transformer 架构
2专家混合(Mixture of Experts)与路由
3前馈网络(FFN)
4大语言模型评测基准

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
推荐lhl · 2024-02

“For those interested in reading more about how it works: Mixtral of Experts”

推荐想了解 Mixtral 工作原理的人读这篇论文
Gemma: New Open Models原评论 ↗
引用ml_thoughts · 2024-11

“This seems closely related to the "Mixtral" approach of a mixture-of-experts transformer [1]”

指出当前方法与 Mixtral 的混合专家 Transformer 很接近
TokenFormer: Rethinking Transformer Scaling with Tokenized Model Parameters原评论 ↗
引用roadside_picnic · 2026-07

“surprisingly, we do not observe obvious patterns in the assignment of experts based on the topic”

引用论文发现:专家分配没有明显的话题规律
Small AI Models Gain Traction In places with unreliable networks原评论 ↗
引用kristianp · 2026-07

“expert(s) used can change from token to token.”

说明 Mixtral 的专家按 token 切换,而非按话题
Getting GLM 5.2 running on my slow computer原评论 ↗
被提交为 story · 1 次