引用raphlinus · 2023-09
“A particular workload it would likely excel at is sparse matrix multiplication, including multiple quantization levels like SpQR[1].”
拿 SpQR 说明稀疏矩阵乘法加多级量化是它擅长的负载
把离群权重单独高精度存储,其余压到 3–4 比特,实现近无损 LLM 压缩。
把 LLM 量化到每参数 3–4 比特可让其装进笔记本和手机,但在 1–10B 参数的小模型上通常带来中到高的精度损失。SpQR(稀疏量化表示)是一种新的压缩格式和量化技术:找出造成较大量化误差的离群权重并以更高精度存储,其余权重压缩到 3–4 比特,在 LLaMA 和 Falcon 上困惑度的相对损失低于 1%。它让 33B 模型可在单张 24GB 消费级 GPU 上运行且无性能下降、推理还快 15%,并提供高效的编码和 GPU 推理算法,推理比 16 位基线更快,内存压缩超过 4 倍。
评论者把它举为稀疏矩阵乘法加多级量化的典型工作,也有人在 2024 年询问是否有人见过它的实现。
“A particular workload it would likely excel at is sparse matrix multiplication, including multiple quantization levels like SpQR[1].”
“Has anyone seen an implementation of 'SpQR: A Sparse-Quantized Representation,' published in June 2023 by Tim Dettmers et al.?”