按年被提到
20242025 · 3 次2026
大模型与语言模型›大模型预训练与缩放·arXiv:2411.07191 · cs.CL

The Super Weight in Large Language Models

大语言模型中的超级权重
Mengxia Yu, De Wang, Qi Shan, Colorado J Reed, Alvin Wan · 2024

剪掉单个超级权重就能让大模型彻底失灵

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 5 人首次 2024-11-12 · 最近 2025-08-05
5不同的人
3活跃月份
5讨论串
8被引(OpenAlex)

已有工作发现少量参数离群值对模型质量的影响极大。这篇论文进一步发现,只剪掉单个参数就能摧毁大模型生成文本的能力:困惑度升高三个数量级,零样本准确率降到随机猜测。作者提出一种无需数据、一次前向传播即可找出这类“超级权重”的方法,并发现它们对应罕见而巨大的激活离群值(超级激活)。保留这些值的高精度,可让简单的 round-to-nearest 量化达到与先进方法相当的水平,并提供了常见开源模型的超级权重坐标索引。

HN 为什么提它

HN 评论者引它说明量化时过度压缩哪怕单个权重,也可能让模型彻底失效。

实证研究难度 4 / 5约 30 分钟经得起时间
读之前最好知道
1Transformer 的权重与激活
2模型量化(round-to-nearest)
3模型剪枝与困惑度
4激活离群值(outlier)

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用kouteiheika · 2025-05

“e.g. in the worst case over-quantizing even a single weight can have disastrous consequences[2]”

引它说明最糟时过度量化单个权重就会造成灾难性后果
Ask HN: What is the best LLM for consumer grade hardware?原评论 ↗
被提交为 story · 4 次