按年被提到
20242026 · 2 次2026
大模型与语言模型›量化、解码与分词·arXiv:2411.17525 · cs.LG

Pushing the Limits of Large Language Model Quantization via the Linearity Theorem

借助线性定理逼近大语言模型量化的极限
Vladimir Malinovskii, Andrei Panferov, Ivan Ilin, Han Guo, Peter Richtárik, Dan Alistarh · 2024

线性定理联系逐层重构误差与困惑度,推出无数据量化方法 HIGGS

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 3 人首次 2025-04-20 · 最近 2026-05-01发表于 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies (NAACL-HLT)
3不同的人
3活跃月份
3讨论串
1被引(OpenAlex)

论文提出「线性定理」,建立逐层 ℓ2 重构误差与量化导致的模型困惑度增加之间的直接关系,为按层最小化误差的做法提供理论依据。基于此有两项应用:一是用 Hadamard 旋转和 MSE 最优网格的简单无数据 LLM 量化方法 HIGGS,优于 NF4 等所有此前无数据方法;二是通过归约为动态规划,求出满足给定压缩约束的最优非均匀逐层量化位宽(中等位宽区间)。实验在 Llama-3.1/3.2 与 Qwen 系列上展示了更好的精度与压缩权衡,并证明可由 GPU kernel 高效支持。

HN 为什么提它

评论者在讨论后来的量化工作(如 TurboQuant)时引用它,称 HIGGS 才是该量化技术的原始来源,质疑后者照搬而未引用。

方法难度 5 / 5约 60 分钟经得起时间
读之前最好知道
1神经网络量化(NF4、逐层量化)
2Hadamard 变换与旋转
3语言模型困惑度(perplexity)
4动态规划
5GPU kernel 与推理效率

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用amitport · 2026-04

“Additionally, TurboQuant was not the first to apply EDEN to KV-cache (see for example Pushing the Limits of Large Language Model Quantization via the Linearity Theorem from 2024).”

指出 TurboQuant 不是首个把 EDEN 用于 KV 缓存的,2024 年已有先例
TurboQuant: A First-Principles Walkthrough原评论 ↗
引用yinksta · 2026-05

“they wholesale copied the quantization technique from the HIGGS paper without citing it”

批评对方照搬 HIGGS 论文的量化技术却未引用
Advanced Quantization Algorithm for LLMs原评论 ↗
被提交为 story · 1 次