按年被提到
20232023 · 2 次2026
大模型与语言模型›混合专家与高效训练·arXiv:2310.16795 · cs.LG

QMoE: Practical Sub-1-Bit Compression of Trillion-Parameter Models

QMoE:万亿参数模型的实用亚 1 比特压缩
Elias Frantar, Dan Alistarh · 2023

把万亿参数 MoE 压缩到每参数不足 1 比特并高效运行

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 4 人首次 2023-10-26 · 最近 2024-05-31
4不同的人
4活跃月份
4讨论串
17被引(OpenAlex)

混合专家(MoE)模型靠稀疏路由降低推理成本,却带来巨大的参数量,例如 SwitchTransformer-c2048 有 1.6 万亿参数、需要 3.2TB 加速器内存。论文提出压缩与执行框架 QMoE:可扩展的算法把万亿参数 MoE 精确压缩到每参数不足 1 比特,并与定制 GPU 解码内核共同设计的格式配合,以较小的运行时开销完成端到端压缩推理。作者报告能在单张 GPU 上不到一天,把 SwitchTransformer-c2048 压缩到不足 160GB(20 倍压缩,每参数 0.8 比特),精度损失轻微,使其可在 4 张 A6000 或 8 张 3090 的服务器上运行,运行时开销低于理想未压缩推理的 5%。

HN 为什么提它

一位评论者以它回应“这方面是否已有人在做”的问题,另一位则批评这一领域的标题常常夸大实际取得的成果。

方法难度 4 / 5约 50 分钟经得起时间
读之前最好知道
1混合专家模型(Mixture-of-Experts)
2模型量化与压缩(quantization)
3GPU 内存与解码内核
4熵编码与稀疏性

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
批评renonce · 2024-05

“What I've found in this space is that the headlines can often be intentionally misleading about what is actually achieved.”

“Imprecise” language models are smaller, speedier, and nearly as accurate原评论 ↗
引用Cieric · 2024-03

“isn't this actually being worked on?”

反问这类亚 1 比特压缩不是已经有人在做了吗,指向这篇论文
Towards 1-bit Machine Learning Models原评论 ↗
被提交为 story · 2 次