按年被提到
20222022 · 2 次2026
大模型与语言模型›混合专家与高效训练·arXiv:2210.02414 · cs.CL

GLM-130B: An Open Bilingual Pre-trained Model

GLM-130B:开放的中英双语预训练模型
Aohan Zeng, Xiao Liu, Zhengxiao Du, Zihan Wang, Hanyu Lai, Ming Ding, Zhuoyi Yang, Yifan Xu, Wendi Zheng, Xiao Xia, Weng Lam Tam, Zixuan Ma 等 18 人 · 2022

开源 1300 亿参数的中英双语模型,可 INT4 量化推理

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 3 人首次 2022-10-10 · 最近 2023-01-16
3不同的人
3活跃月份
3讨论串
667被引(OpenAlex)

论文介绍 1300 亿参数的中英双语预训练模型 GLM-130B,试图开源一个不逊于 GPT-3(davinci)的百亿级模型,并公开如此规模模型预训练的做法,包括设计选择、兼顾效率与稳定性的训练策略,以及应对损失尖峰和发散等工程难题。它在多项英文基准上明显优于 GPT-3 175B,在中文基准上稳定优于 ERNIE TITAN 3.0 260B,并利用独特的缩放性质做到几乎无损的 INT4 量化,可在 4 块 RTX 3090 或 8 块 RTX 2080 Ti 上推理。

HN 为什么提它

评论者引用它作为“大模型权重可量化到 INT4 而精度损失很小”的经验证据,并指向其第 7 页的结果。

方法难度 4 / 5约 60 分钟有时效性
读之前最好知道
1Transformer 与大语言模型预训练
2分布式训练与训练稳定性(loss spike)
3模型量化(INT4)
4GPT-3 与常用评测基准

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用moyix · 2022-12

“Empirically, people have quantized the weights of language models down to INT4 with very little loss in accuracy; see GLM-130B: GLM-130B”

引它说明权重可量化到 INT4,精度损失很小
How Does GPT Obtain Its Ability? Tracing Emergent Abilities of Language Models原评论 ↗
引用fswd · 2023-01

“Page 7 GLM-130B”

指向第 7 页 GLM-130B 的 INT4 量化结果
Will Floating Point 8 Solve AI/ML Overhead?原评论 ↗
被提交为 story · 1 次