按年被提到
20252025 · 4 次2026
大模型与语言模型›大模型文本、写作与版权·arXiv:2506.05209 · cs.CL

The Common Pile v0.1: An 8TB Dataset of Public Domain and Openly Licensed Text

Common Pile v0.1:8TB 的公有领域与开放许可文本数据集
Nikhil Kandpal, Brian Lester, Colin Raffel, Sebastian Majstorovic, Stella Biderman, Baber Abbasi, Luca Soldaini, Enrico Shippole, A. Feder Cooper, Aviya Skowron, John Kirchenbauer, Shayne Longpre 等 27 人 · 2025

8TB 开放许可文本语料,并训练出可与 Llama 1/2 7B 竞争的模型

开始阅读 ↗PDFalphaXiv 讨论
被推荐 · 5 人首次 2025-06-06 · 最近 2026-01-12
5不同的人
4活跃月份
5讨论串
11被引(OpenAlex)

收集、整理并发布 Common Pile v0.1,一个专为 LLM 预训练设计的 8TB 开放许可文本集合,来自 30 个来源,涵盖论文、代码、书籍、百科、教育材料和音频转写等。作者用它训练了两个 7B 模型 Comma v0.1-1T 和 Comma v0.1-2T(分别用 1 万亿和 2 万亿词元),在相近算力下与用未授权文本训练的 Llama 1 和 2 7B 等模型性能相当,并同时发布数据构建代码、训练混合比例和模型检查点。

HN 为什么提它

HN 上的人把它当作仅用开放许可数据也能训练出像样 7B 模型的证据,并同时获得了数据集。

实证研究难度 2 / 5约 45 分钟有时效性
读之前最好知道
1大语言模型预训练
2开源许可与版权基础
3数据清洗与去重
4语言模型评测基准

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
推荐HighFreqAsuka · 2026-01

“They build a reasonable 7B parameter model using only open-licensed data.”

推荐它,只用开放许可数据就训练出一个像样的 7B 模型
TimeCapsuleLLM: LLM trained only on data from 1800-1875原评论 ↗
被提交为 story · 4 次