引用moyix · 2022-12
“Empirically, people have quantized the weights of language models down to INT4 with very little loss in accuracy; see GLM-130B: GLM-130B”
引它说明权重可量化到 INT4,精度损失很小
开源 1300 亿参数的中英双语模型,可 INT4 量化推理
论文介绍 1300 亿参数的中英双语预训练模型 GLM-130B,试图开源一个不逊于 GPT-3(davinci)的百亿级模型,并公开如此规模模型预训练的做法,包括设计选择、兼顾效率与稳定性的训练策略,以及应对损失尖峰和发散等工程难题。它在多项英文基准上明显优于 GPT-3 175B,在中文基准上稳定优于 ERNIE TITAN 3.0 260B,并利用独特的缩放性质做到几乎无损的 INT4 量化,可在 4 块 RTX 3090 或 8 块 RTX 2080 Ti 上推理。
评论者引用它作为“大模型权重可量化到 INT4 而精度损失很小”的经验证据,并指向其第 7 页的结果。
“Empirically, people have quantized the weights of language models down to INT4 with very little loss in accuracy; see GLM-130B: GLM-130B”
“Page 7 GLM-130B”