按年被提到
20222022 · 4 次2026
大模型与语言模型›大模型预训练与缩放·arXiv:2211.04325 · cs.LG

Will we run out of data? Limits of LLM scaling based on human-generated data

我们会耗尽数据吗?基于人类生成数据的 LLM 扩展极限
Pablo Villalobos, Anson Ho, Jaime Sevilla, Tamay Besiroglu, Lennart Heim, Marius Hobbhahn · 2022

预测公开人类文本将在 2026 至 2032 年间被 LLM 训练用尽

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 10 人首次 2022-11-29 · 最近 2026-09-30
10不同的人
8活跃月份
10讨论串
242被引(OpenAlex)

论文根据当前趋势预测训练数据需求的增长,并估算公开人类文本数据的总存量。结论是若趋势持续,模型训练所用数据集大小将在 2026 到 2032 年间与公开人类文本存量相当,过度训练时会更早。作者还探讨了合成数据、跨领域迁移学习和数据效率提升作为后续进展路径。

HN 为什么提它

HN 上的人用它来支持高质量人类文本数据有限、LLM 扩展会撞上数据墙的论点。

实证研究难度 2 / 5约 50 分钟有时效性
读之前最好知道
1大语言模型(LLM)训练基础
2缩放定律(scaling laws)
3预训练数据集
4合成数据

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用ren_engineer · 2022-12

“there's a paper that basically shows these LLMs are pretty much tapped out in terms of quality data to train on”

引它说明 LLM 的优质训练数据基本已被用尽
Drowning in AI Generated Garbage: the silent war we are fighting原评论 ↗
引用hungrigekatze · 2023-12

“which predicts that high-quality text training data will be 'used up' by 2026”

引它预测高质量文本训练数据将在 2026 年前被耗尽
Dropbox: How to opt out of 3rd party AI partner access to your Dropbox原评论 ↗
引用theptip · 2025-09

“Gives some relevant papers such as”

列为相关论文,估计人类文本数据何时耗尽
Failing to Understand the Exponential, Again原评论 ↗
引用wavewrangler · 2026-09

“And the stock of human-written text is finite: Will we run out of data? Limits of LLM scaling based on human-generated data”

引它说明人类写的文本总量有限
Nvidia wants to put a watchdog chip next to every AI agent原评论 ↗
被提交为 story · 6 次