按年被提到
20252025 · 2 次2026
大模型与语言模型›量化、解码与分词·arXiv:2502.02631 · cs.LG

ParetoQ: Improving Scaling Laws in Extremely Low-bit LLM Quantization

ParetoQ:改进极低比特 LLM 量化的缩放定律
Zechun Liu, Changsheng Zhao, Hanxian Huang, Sijia Chen, Jing Zhang, Jiawei Zhao, Scott Roy, Lisa Jin, Yunyang Xiong, Yangyang Shi, Lin Xiao, Yuandong Tian 等 16 人 · 2025

统一比较 1 到 4 比特量化的框架,2 到 3 比特间存在学习转变

开始阅读 ↗PDFalphaXiv 讨论
被推荐 · 4 人首次 2025-04-16 · 最近 2026-10-08
4不同的人
3活跃月份
3讨论串
14被引(OpenAlex)

最优量化位宽一直有争议:有人主张 4 比特,有人认为 1.58 比特更好,缺少统一框架。ParetoQ 是首个能在 1、1.58、2、3、4 比特之间严格比较的统一框架,发现 2 到 3 比特之间存在学习转变:3 比特及以上微调后的模型接近原预训练分布,而 2 比特及以下的表示会剧烈改变。通过优化训练方案和量化函数,其三值 600M 模型超过了此前 3B 的三值最优模型,且三值、2 比特和 3 比特在体积-精度权衡上相当、普遍优于 4 比特和二值。

HN 为什么提它

HN 评论者拿它来讨论量化为什么在 4 比特附近有极限、3 比特配合量化感知微调几乎无损,也有人质疑其解释不够清楚。

实证研究难度 4 / 5约 50 分钟有时效性
读之前最好知道
1神经网络量化(quantization)
2量化感知训练(QAT)
3LLM 预训练与微调
4缩放定律(scaling laws)

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
推荐nbutton762 · 2026-10

“the ParetoQ paper has some interesting theories: ParetoQ”

指出 ParetoQ 论文对量化为何以 4 bit 为极限提出了有趣的理论
Sub-1-Bit LLM Compression via Latent Factorization原评论 ↗
批评cpldcpu · 2026-10

“Its not so clear to me what their real explanation is.”

批评论文的真正解释不清楚,且只部分适用
Sub-1-Bit LLM Compression via Latent Factorization原评论 ↗
引用technocrat8080 · 2025-04

“Along with the ParetoQ paper from Meta”

补充提到 Meta 的 ParetoQ 论文,研究极低比特量化的缩放定律
Microsoft BitNet 1.58bit LLM 2B4T released原评论 ↗
引用kouteiheika · 2025-05

“In general quantization even as low as 3-bit can be almost loseless when you do quantization-aware finetuning[1]”

拿它说明做量化感知微调时,3 bit 量化也几乎无损
Ask HN: What is the best LLM for consumer grade hardware?原评论 ↗