引用jph00 · 2023-01
“A couple of weeks ago a new paper came out that shows how to train a high quality language model on a single GPU in one day.”
介绍新论文,展示如何在单块 GPU 上一天训练出高质量语言模型
在单块消费级 GPU 上一天训练出性能接近 BERT 的语言模型
论文反过来问:只用一块 GPU、一天时间能走多远?作者研究在单块消费级 GPU 上用掩码语言建模从头训练一天的 Transformer 语言模型的下游表现,重新分析了预训练流程的几乎所有组件,并给出性能接近 BERT 的修改版流程。他们还探讨了缩小规模为什么困难、哪些改动真正有效,提供证据表明即使在这种受限设置下,性能依然遵循大算力场景中观察到的缩放定律,并借此对近期的训练与架构改进在有限算力下的价值与适用性进行分类讨论。
HN 上的人把它当作在单块 GPU 上一天训练出高质量语言模型的配方来引用,也被拿来作为为单卡加速(如 nanoGPT)做优化的参考。
“A couple of weeks ago a new paper came out that shows how to train a high quality language model on a single GPU in one day.”
“I did the optimalisations in Cramming”
“a paper from a few years ago, where the author tried to find the best model they could train for a day on a modern laptop”