推荐HighFreqAsuka · 2026-01
“They build a reasonable 7B parameter model using only open-licensed data.”
推荐它,只用开放许可数据就训练出一个像样的 7B 模型
8TB 开放许可文本语料,并训练出可与 Llama 1/2 7B 竞争的模型
收集、整理并发布 Common Pile v0.1,一个专为 LLM 预训练设计的 8TB 开放许可文本集合,来自 30 个来源,涵盖论文、代码、书籍、百科、教育材料和音频转写等。作者用它训练了两个 7B 模型 Comma v0.1-1T 和 Comma v0.1-2T(分别用 1 万亿和 2 万亿词元),在相近算力下与用未授权文本训练的 Llama 1 和 2 7B 等模型性能相当,并同时发布数据构建代码、训练混合比例和模型检查点。
HN 上的人把它当作仅用开放许可数据也能训练出像样 7B 模型的证据,并同时获得了数据集。
“They build a reasonable 7B parameter model using only open-licensed data.”