按年被提到
20232023 · 2 次2026
大模型与语言模型›混合专家与高效训练·arXiv:2306.03078 · cs.CL

SpQR: A Sparse-Quantized Representation for Near-Lossless LLM Weight Compression

SpQR:用于近无损 LLM 权重压缩的稀疏量化表示
Tim Dettmers, Ruslan Svirschevski, Vage Egiazarian, Denis Kuznedelev, Elias Frantar, Saleh Ashkboos, Alexander Borzunov, Torsten Hoefler, Dan Alistarh · 2023

把离群权重单独高精度存储,其余压到 3–4 比特,实现近无损 LLM 压缩。

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 3 人首次 2023-06-06 · 最近 2024-03-08
3不同的人
3活跃月份
3讨论串
109被引(OpenAlex)

把 LLM 量化到每参数 3–4 比特可让其装进笔记本和手机,但在 1–10B 参数的小模型上通常带来中到高的精度损失。SpQR(稀疏量化表示)是一种新的压缩格式和量化技术:找出造成较大量化误差的离群权重并以更高精度存储,其余权重压缩到 3–4 比特,在 LLaMA 和 Falcon 上困惑度的相对损失低于 1%。它让 33B 模型可在单张 24GB 消费级 GPU 上运行且无性能下降、推理还快 15%,并提供高效的编码和 GPU 推理算法,推理比 16 位基线更快,内存压缩超过 4 倍。

HN 为什么提它

评论者把它举为稀疏矩阵乘法加多级量化的典型工作,也有人在 2024 年询问是否有人见过它的实现。

方法难度 4 / 5约 50 分钟经得起时间
读之前最好知道
1神经网络量化(quantization)
2训练后权重量化基础
3LLM 推理与 GPU 显存
4稀疏矩阵表示

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用raphlinus · 2023-09

“A particular workload it would likely excel at is sparse matrix multiplication, including multiple quantization levels like SpQR[1].”

拿 SpQR 说明稀疏矩阵乘法加多级量化是它擅长的负载
ROCm Is AMD's #1 Priority, Executive Says原评论 ↗
引用AhtiK · 2024-03

“Has anyone seen an implementation of 'SpQR: A Sparse-Quantized Representation,' published in June 2023 by Tim Dettmers et al.?”

询问有没有人见过 SpQR 的实现
Fine tune a 70B language model at home原评论 ↗
被提交为 story · 1 次