按年被提到
20232023 · 4 次2026
大模型与语言模型›大模型预训练与缩放·arXiv:2305.16264 · cs.CL

Scaling Data-Constrained Language Models

数据受限条件下的语言模型扩展
Niklas Muennighoff, Alexander M. Rush, Boaz Barak, Teven Le Scao, Aleksandra Piktus, Nouamane Tazi, Sampo Pyysalo, Thomas Wolf, Colin Raffel · 2023

数据有限时重复训练多少轮有用,及对应的扩展定律

开始阅读 ↗PDFalphaXiv 讨论
被推荐 · 7 人首次 2023-05-30 · 最近 2026-09-30
7不同的人
5活跃月份
6讨论串
89被引(OpenAlex)

论文研究互联网文本可能不够用时的语言模型扩展,做了大量实验,改变数据重复程度和算力预算,规模最高到 9000 亿训练 token、90 亿参数。结果显示在固定算力下,用重复数据训练最多 4 个 epoch,损失相比唯一数据几乎没有变化;但重复更多后,增加算力的价值最终衰减到零。作者提出并验证了一个计及重复 token 和多余参数价值递减的计算最优扩展定律,还试验了用代码数据扩充、去掉常用过滤器等缓解数据稀缺的办法。

HN 为什么提它

HN 上的人在讨论训练数据快用完、能否多轮重复训练时引用它,常拿它说明重复数据约 4 个 epoch 内与新数据相当、之后收益递减。

实证研究难度 3 / 5约 50 分钟经得起时间
读之前最好知道
1语言模型扩展定律(scaling laws)
2Chinchilla 计算最优训练
3Transformer 语言模型预训练
4epoch 与过拟合

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
推荐futurisold · 2023-09

“You might want to give a read to "Scaling Data-Constrained Language Models" [1].”

推荐阅读,它把 Chinchilla 缩放定律推广到多轮次、数据受限的训练
Chinchilla’s Death原评论 ↗
推荐ActivatedAI · 2024-08

“There is some good published research about doing multiple passes over the training data”

推荐它,指出多遍训练同一数据约 4 个 epoch 后收益递减
IsoFLOP curves of large language models are flat原评论 ↗
引用whimsicalism · 2023-09

“It does seem somewhat contrary to the findings of this paper [0] that found that old data was as good as new for at least 4 epochs.”

指出它发现旧数据至少在 4 个 epoch 内和新数据一样好,与眼前的结论似乎相反
Can LLMs learn from a single example?原评论 ↗
引用jph00 · 2023-09

“This paper shows utility at 44 epochs, for instance:”

拿它说明训练在 44 个 epoch 时仍有用
Can LLMs learn from a single example?原评论 ↗
引用abrichr · 2025-01

“I believe the paper being referenced is “Scaling Data-Constrained Language Models”.”

指认被提到的论文,讲训练数据有限且重复时 LLM 如何扩展
FrontierMath was funded by OpenAI原评论 ↗
引用wavewrangler · 2026-09

“Reusing the same data loses value after a few passes: Scaling Data-Constrained Language Models”

引作证据:同一数据重复使用几遍后价值下降
Nvidia wants to put a watchdog chip next to every AI agent原评论 ↗
被提交为 story · 1 次