按年被提到
20222022 · 2 次2026
大模型与语言模型›大模型预训练与缩放·arXiv:2204.06745 · cs.CL

GPT-NeoX-20B: An Open-Source Autoregressive Language Model

GPT-NeoX-20B:开源自回归语言模型
Sid Black, Stella Biderman, Eric Hallahan, Quentin Anthony, Leo Gao, Laurence Golding, Horace He, Connor Leahy, Kyle McDonell, Jason Phang, Michael Pieler, USVSN Sai Prashanth 等 17 人 · 2022

权重公开的 200 亿参数自回归语言模型 GPT-NeoX-20B

开始阅读 ↗PDFalphaXiv 讨论
被推荐 · 3 人首次 2022-04-27 · 最近 2023-03-13
3不同的人
3活跃月份
3讨论串
408被引(OpenAlex)

GPT-NeoX-20B 是在 Pile 数据集上训练的 200 亿参数自回归语言模型,权重以宽松许可证公开;据作者所知,提交时它是权重公开的最大稠密自回归模型。论文介绍了模型架构与训练过程,并在语言理解、数学和知识类任务上评测,发现它是出色的少样本推理者,五样本评测时的提升明显大于同规模的 GPT-3 和 FairSeq 模型。训练与评测代码以及模型权重均已开源。

HN 为什么提它

有评论者推荐它来了解小团队如何在基础设施层面训练这类模型,另有人只是提到这个开放的 20B 参数模型的存在。

方法难度 3 / 5约 45 分钟有时效性
读之前最好知道
1Transformer 架构
2自回归语言模型(autoregressive LM)
3大规模分布式训练
4少样本评测(few-shot evaluation)

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
推荐kir-gadjello · 2023-03

“If you are interested in the infrastructure-level details of how similar models are trained by lesser known groups, take a look at this paper: GPT-NeoX-20B”

推荐想了解不知名团队如何训练类似模型的基础设施细节时读这篇
Alpaca- An Instruct Tuned Llama 7B. Responses on par with txt-DaVinci-3. Demo up原评论 ↗
引用cottonseed · 2022-12

“They have a 20B parameter model.”

指出 EleutherAI 有一个 20B 参数的模型
Could an open source/data GPT like chatbot be created?原评论 ↗
被提交为 story · 1 次