推荐renonce · 2023-12
“has captured it well on page 103, Appendix G:”
指出这篇论文附录 G(第 103 页)说清了:剪枝和蒸馏难以有效降低参数量下的 loss
Gopher:2800 亿参数语言模型的规模效应与多任务评测
论文分析了基于 Transformer 的语言模型在不同规模下的表现,规模从数千万参数直到 2800 亿参数的 Gopher,并在 152 个任务上评测,多数任务达到当时最优。规模带来的增益在阅读理解、事实核查和毒性语言识别上最大,而逻辑与数学推理的收益较小。论文还分析了训练数据集与模型行为,涵盖规模与偏见、毒性的交叉,并讨论了语言模型在 AI 安全和缓解下游危害上的应用。
评论者引用它的附录 G(第 103 页),说明剪枝和蒸馏难以在更少参数下有效降低 loss;另有人在谈 AI 在常识推理上仍落后于人类时引用它。
“has captured it well on page 103, Appendix G:”
“I continue to see benchmarks where human expertise significantly outperforms AI on common sense reasoning tasks (most recently Scaling Language Models).”