引用kouteiheika · 2025-05
“e.g. in the worst case over-quantizing even a single weight can have disastrous consequences[2]”
引它说明最糟时过度量化单个权重就会造成灾难性后果
剪掉单个超级权重就能让大模型彻底失灵
已有工作发现少量参数离群值对模型质量的影响极大。这篇论文进一步发现,只剪掉单个参数就能摧毁大模型生成文本的能力:困惑度升高三个数量级,零样本准确率降到随机猜测。作者提出一种无需数据、一次前向传播即可找出这类“超级权重”的方法,并发现它们对应罕见而巨大的激活离群值(超级激活)。保留这些值的高精度,可让简单的 round-to-nearest 量化达到与先进方法相当的水平,并提供了常见开源模型的超级权重坐标索引。
HN 评论者引它说明量化时过度压缩哪怕单个权重,也可能让模型彻底失效。
“e.g. in the worst case over-quantizing even a single weight can have disastrous consequences[2]”