推荐nbutton762 · 2026-10
“the ParetoQ paper has some interesting theories: ParetoQ”
指出 ParetoQ 论文对量化为何以 4 bit 为极限提出了有趣的理论
统一比较 1 到 4 比特量化的框架,2 到 3 比特间存在学习转变
最优量化位宽一直有争议:有人主张 4 比特,有人认为 1.58 比特更好,缺少统一框架。ParetoQ 是首个能在 1、1.58、2、3、4 比特之间严格比较的统一框架,发现 2 到 3 比特之间存在学习转变:3 比特及以上微调后的模型接近原预训练分布,而 2 比特及以下的表示会剧烈改变。通过优化训练方案和量化函数,其三值 600M 模型超过了此前 3B 的三值最优模型,且三值、2 比特和 3 比特在体积-精度权衡上相当、普遍优于 4 比特和二值。
HN 评论者拿它来讨论量化为什么在 4 比特附近有极限、3 比特配合量化感知微调几乎无损,也有人质疑其解释不够清楚。
“the ParetoQ paper has some interesting theories: ParetoQ”
“Its not so clear to me what their real explanation is.”
“Along with the ParetoQ paper from Meta”
“In general quantization even as low as 3-bit can be almost loseless when you do quantization-aware finetuning[1]”