按年被提到
20232023 · 6 次2026
大模型与语言模型›量化、解码与分词·arXiv:2301.00774 · cs.LG

SparseGPT: Massive Language Models Can Be Accurately Pruned in One-Shot

SparseGPT:超大语言模型可一次性被精确剪枝
Elias Frantar, Dan Alistarh · 2023

无需重训,一次性把 GPT 类大模型剪到 50% 稀疏几乎不掉精度

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 6 人首次 2023-01-03 · 最近 2024-04-18
6不同的人
4活跃月份
7讨论串
204被引(OpenAlex)

论文首次表明 GPT 系列大模型可以一次性(one-shot)剪枝到至少 50% 稀疏度而无需重新训练,精度损失很小,所用方法 SparseGPT 专为超大模型设计。它能在不到 4.5 小时内处理 OPT-175B 和 BLOOM-176B,达到 60% 非结构化稀疏度而困惑度几乎不升;还支持 2:4、4:8 等半结构化模式,并与权重量化兼容。

HN 为什么提它

评论者把它与量化并列,作为降低推理成本的途径:可以剪掉约一半参数而几乎不损失性能;另有一条批评认为这类论文常靠弱基线和数学术语包装,属泛泛之论。

方法难度 4 / 5约 50 分钟经得起时间
读之前最好知道
1Transformer 与 GPT 类语言模型
2模型剪枝与稀疏性(pruning and sparsity)
3权重量化
4语言模型困惑度评测

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
批评renonce · 2024-04

“these papers boast their own methods by poorly implementing a baseline and describing their own methods using lots of mathematical jargon”

Show HN: Speeding up LLM inference 2x times (possibly)原评论 ↗
引用woodson · 2023-01

“I think quantization (e.g. 4-bit, [OTHER_PAPER]) and sparsity (e.g. SparseGPT, SparseGPT) will bring down inference cost.”

举 SparseGPT 为例,认为稀疏化会和量化一起降低推理成本
Some Remarks on Large Language Models – Yoav Goldberg原评论 ↗
引用lhl · 2023-04

“Here's a technique SparseGPT which suggests that you can prune 50% of parameters with almost no loss in performance for example: SparseGPT.”

介绍 SparseGPT,可一次性剪掉 50% 参数而性能几乎不降
Stability AI Launches the First of Its StableLM Suite of Language Models原评论 ↗
引用lhl · 2023-04

“combined with sparsity pruning (-50% size w/ almost no loss in accuracy) [2]”

引它说明结合稀疏剪枝可缩小一半体积而精度几乎不降
GitHub Copilot emits GPL code原评论 ↗
引用sp332 · 2023-05

“The same group did another paper SparseGPT which shows that in addition to reducing the precision of each parameter, you can also prune out a bunch of parameters entirely.”

指出同一团队的这篇论文表明除了降低精度,还能直接剪掉大量参数
How to run Llama 13B with a 6GB graphics card原评论 ↗
引用yarg · 2023-05

“Relevantish: SparseGPT”

贴出作相关阅读,说明大型网络可剪枝到很高稀疏度
OpenAI chief goes before US Congress to propose licenses for building AI原评论 ↗
被提交为 story · 1 次