批评renonce · 2024-05
“What I've found in this space is that the headlines can often be intentionally misleading about what is actually achieved.”
把万亿参数 MoE 压缩到每参数不足 1 比特并高效运行
混合专家(MoE)模型靠稀疏路由降低推理成本,却带来巨大的参数量,例如 SwitchTransformer-c2048 有 1.6 万亿参数、需要 3.2TB 加速器内存。论文提出压缩与执行框架 QMoE:可扩展的算法把万亿参数 MoE 精确压缩到每参数不足 1 比特,并与定制 GPU 解码内核共同设计的格式配合,以较小的运行时开销完成端到端压缩推理。作者报告能在单张 GPU 上不到一天,把 SwitchTransformer-c2048 压缩到不足 160GB(20 倍压缩,每参数 0.8 比特),精度损失轻微,使其可在 4 张 A6000 或 8 张 3090 的服务器上运行,运行时开销低于理想未压缩推理的 5%。
一位评论者以它回应“这方面是否已有人在做”的问题,另一位则批评这一领域的标题常常夸大实际取得的成果。
“What I've found in this space is that the headlines can often be intentionally misleading about what is actually achieved.”
“isn't this actually being worked on?”