按年被提到
20222023 · 5 次2026
大模型与语言模型›混合专家与高效训练·arXiv:2212.14034 · cs.CL

Cramming: Training a Language Model on a Single GPU in One Day

Cramming:用单块 GPU 一天训练一个语言模型
Jonas Geiping, Tom Goldstein · 2022

在单块消费级 GPU 上一天训练出性能接近 BERT 的语言模型

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 9 人首次 2022-12-29 · 最近 2025-08-14
9不同的人
5活跃月份
9讨论串
39被引(OpenAlex)

论文反过来问:只用一块 GPU、一天时间能走多远?作者研究在单块消费级 GPU 上用掩码语言建模从头训练一天的 Transformer 语言模型的下游表现,重新分析了预训练流程的几乎所有组件,并给出性能接近 BERT 的修改版流程。他们还探讨了缩小规模为什么困难、哪些改动真正有效,提供证据表明即使在这种受限设置下,性能依然遵循大算力场景中观察到的缩放定律,并借此对近期的训练与架构改进在有限算力下的价值与适用性进行分类讨论。

HN 为什么提它

HN 上的人把它当作在单块 GPU 上一天训练出高质量语言模型的配方来引用,也被拿来作为为单卡加速(如 nanoGPT)做优化的参考。

实证研究难度 3 / 5约 50 分钟经得起时间
读之前最好知道
1Transformer 与 BERT 的掩码语言建模
2语言模型预训练流程
3缩放定律(scaling laws)
4GPU 训练效率与优化器

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用jph00 · 2023-01

“A couple of weeks ago a new paper came out that shows how to train a high quality language model on a single GPU in one day.”

介绍新论文,展示如何在单块 GPU 上一天训练出高质量语言模型
引用onnodigcomplex · 2023-01

“I did the optimalisations in Cramming”

称自己做的优化出自这篇,用于在单 GPU 上加快 nanoGPT 训练
GPUs for Deep Learning in 2023 – An In-depth Analysis原评论 ↗
引用lsb · 2025-08

“a paper from a few years ago, where the author tried to find the best model they could train for a day on a modern laptop”

回忆几年前有论文试图找出现代笔记本上一天能训练的最佳语言模型
What's the strongest AI model you can train on a laptop in five minutes?原评论 ↗
被提交为 story · 6 次