推荐kir-gadjello · 2023-03
“If you are interested in the infrastructure-level details of how similar models are trained by lesser known groups, take a look at this paper: GPT-NeoX-20B”
推荐想了解不知名团队如何训练类似模型的基础设施细节时读这篇
权重公开的 200 亿参数自回归语言模型 GPT-NeoX-20B
GPT-NeoX-20B 是在 Pile 数据集上训练的 200 亿参数自回归语言模型,权重以宽松许可证公开;据作者所知,提交时它是权重公开的最大稠密自回归模型。论文介绍了模型架构与训练过程,并在语言理解、数学和知识类任务上评测,发现它是出色的少样本推理者,五样本评测时的提升明显大于同规模的 GPT-3 和 FairSeq 模型。训练与评测代码以及模型权重均已开源。
有评论者推荐它来了解小团队如何在基础设施层面训练这类模型,另有人只是提到这个开放的 20B 参数模型的存在。
“If you are interested in the infrastructure-level details of how similar models are trained by lesser known groups, take a look at this paper: GPT-NeoX-20B”
“They have a 20B parameter model.”