引用amitport · 2026-04
“Additionally, TurboQuant was not the first to apply EDEN to KV-cache (see for example Pushing the Limits of Large Language Model Quantization via the Linearity Theorem from 2024).”
指出 TurboQuant 不是首个把 EDEN 用于 KV 缓存的,2024 年已有先例
线性定理联系逐层重构误差与困惑度,推出无数据量化方法 HIGGS
论文提出「线性定理」,建立逐层 ℓ2 重构误差与量化导致的模型困惑度增加之间的直接关系,为按层最小化误差的做法提供理论依据。基于此有两项应用:一是用 Hadamard 旋转和 MSE 最优网格的简单无数据 LLM 量化方法 HIGGS,优于 NF4 等所有此前无数据方法;二是通过归约为动态规划,求出满足给定压缩约束的最优非均匀逐层量化位宽(中等位宽区间)。实验在 Llama-3.1/3.2 与 Qwen 系列上展示了更好的精度与压缩权衡,并证明可由 GPU kernel 高效支持。
评论者在讨论后来的量化工作(如 TurboQuant)时引用它,称 HIGGS 才是该量化技术的原始来源,质疑后者照搬而未引用。
“Additionally, TurboQuant was not the first to apply EDEN to KV-cache (see for example Pushing the Limits of Large Language Model Quantization via the Linearity Theorem from 2024).”
“they wholesale copied the quantization technique from the HIGGS paper without citing it”