按年被提到
20202023 · 15 次2026
大模型与语言模型›大模型预训练与缩放·arXiv:2101.00027 · cs.CL

The Pile: An 800GB Dataset of Diverse Text for Language Modeling

The Pile:用于语言建模的 800GB 多样化文本数据集
Leo Gao, Stella Biderman, Sid Black, Laurence Golding, Travis Hoppe, Charles Foster, Jason Phang, Horace He, Anish Thite, Noa Nabeshima, Shawn Presser, Connor Leahy · 2020

由 22 个子集构成、开源可复现的大规模语言模型训练语料

开始阅读 ↗PDFalphaXiv 讨论
被推荐 · 21 人首次 2021-03-29 · 最近 2026-04-21
21不同的人
17活跃月份
26讨论串
1,119被引(OpenAlex)

构建 The Pile:825 GiB 的英文文本语料,由 22 个高质量子集组成,其中多数来自学术或专业来源。评测显示,未调优的 GPT-2 和 GPT-3 在其许多部分(如学术写作)上表现不佳,而用 The Pile 训练的模型在所有组成部分上都明显优于 Raw CC 和 CC-100,下游任务也有提升。作者还对数据中潜在的问题做了探索性分析,并公开了构建代码。

HN 为什么提它

评论者主要把它当作了解大模型训练数据构成的参考:其中包含 HN、arXiv、GitHub 以及 Books3 等来源,常在讨论版权、合理使用和数据质量时被引用。

实证研究难度 2 / 5约 60 分钟有时效性
读之前最好知道
1语言模型预训练基础
2Common Crawl 网页语料
3数据清洗与去重
4版权与合理使用的基本概念

学习路径

读这篇之前,按顺序读书架上的 5 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

这条路径帮你理解 Pile 出现的背景:预训练语料如何影响模型、缩放定律为何要求更多更多样的数据,以及数据集文档化的做法。

  1. 1
    BERT: Pre-training of Deep Bidirectional Transformers for Language UnderstandingBERT:用于语言理解的深度双向 Transformer 预训练 · 2018

    BERT 确立了在大规模无标注文本上预训练的范式,Pile 的评测就是针对这类预训练。

    读读预训练数据(BooksCorpus 与维基百科)和预训练目标,了解当时语料的规模与来源。

  2. 2
    Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer探索迁移学习的极限:统一的文本到文本 Transformer · 2019

    T5 的 C4 是 Pile 对比的主要网页语料,并系统研究了数据清洗与规模。

    读读 C4 的构造和过滤规则、数据规模对效果影响的实验。

  3. 3
    Scaling Laws for Neural Language Models神经语言模型的缩放定律 · 2020

    缩放定律说明数据量与多样性是继续提升模型的关键,这是 Pile 的直接动机。

    读读损失随参数、数据、算力的幂律关系,抓住需要更多数据的结论。

  4. 4
    Language Models are Few-Shot Learners语言模型是少样本学习者 · 2020

    GPT-3 的训练语料组成(Common Crawl 等)是 Pile 的对照,同时 Pile 用它做评测。

    读读训练数据的构成与过滤、数据混合比例的部分,了解 Pile 想改进什么。

  5. 5
    Datasheets for Datasets数据集数据表(Datasheets for Datasets) · 2018

    Pile 为数据集写了文档,思路来自数据集数据表。

    读读数据表的问题清单(动机、构成、收集过程、用途),对照 Pile 论文的相应部分。

  6. 6
    The Pile: An 800GB Dataset of Diverse Text for Language ModelingThe Pile:用于语言建模的 800GB 多样化文本数据集 · 2020 · 就是这篇

    给出 22 个子集的构成、处理方法和用 GPT-2、GPT-3 做的评测。

    读重点读各子集的来源与权重、去重和过滤,以及跨领域评测的结果。

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
推荐cottonseed · 2022-12

“There is a nice diagram on page 2 that summarizes the contents.”

指出第 2 页有一张图很好地总结了数据集内容构成
Could an open source/data GPT like chatbot be created?原评论 ↗
推荐construct0 · 2023-06

“This is old and dates from the period surrounding the launch of the 6b model from Eleuther, but have a gander, sheds some light on their sources: The Pile”

推荐它来了解 Eleuther 的数据来源,虽然是旧资料
How good could GTP-4 get if copyright was not an issue?原评论 ↗
推荐IshanMi · 2024-03

“they did some really diligent work in putting together the dataset and documenting it.”

称作者在整理并详细记录这个数据集上做了非常认真的工作
DBRX: A new open LLM原评论 ↗
引用aaron695 · 2021-03

“This includes HN [i] HackerNews 3.90GiB 0.62%”

引用其来源构成,其中 HackerNews 占 3.90GiB
The makers of Eleuther hope it will be an open source alternative to GPT-3原评论 ↗
引用sillysaurusx · 2021-07

“My name is on The Pile paper The Pile but I didn't do anything except make the books3 dataset.”

自称论文署名者,只做了 books3 数据集,并以内部人身份谈数据集的取舍
GPT-J-6B – A 6 billion parameter, autoregressive text generation model原评论 ↗
引用sillysaurusx · 2021-10

“The answer is to train a general model on a massive dataset, and then to fine-tune it on a smaller dataset”

拿它说明做法是先在海量数据集上训练通用模型,再在小数据集上微调
Greater than 99% consensus on human caused climate change in the literature原评论 ↗
看全部 20 条 →
引用iggldiggl · 2022-04

“It's mentioned somewhere in here that the language filtering that was used on the source material wasn't perfect”

指出论文中提到所用语言过滤并不完美
Textsynth: Bellard's free GPT-NeoX-20B, GPT-J playground and paid API原评论 ↗
引用aquajet · 2022-12

“It was a part of The Pile, and we included usernames along with the item.”

说明这些内容是 The Pile 的一部分,条目里还带上了用户名
Tell HN: ChatGPT can reply like a specific Reddit or HN user, including you原评论 ↗
引用Terretta · 2022-12

“This thing is a remarkable abacus for information from The Pile.”

把 The Pile 当作聊天机器人知识的来源,称模型是它信息的神奇算盘
ChatGPT playing a not so simple game原评论 ↗
引用Terretta · 2023-01

“The paper cited there by contrast, argues for select training sets:”

指出所引论文主张使用精选训练集,与此相反
The Limits of GPT-3 and Similar Large Language Models原评论 ↗
引用williamcotton · 2023-02

“Under pre (1984) (and affirmed in subsequent rulings such as aff (2013); Google (2015)), non-commercial, not-for-profit use of copyright media is preemptively fair use.”

借它的版权论点,说明非商业、非营利使用受版权媒体可视为合理使用
David Guetta uses ChatGPT and uberduck.ai to create fake Eminem rap for DJ set原评论 ↗
引用orpheansodality · 2023-04

“More details in the paper: The Pile”

指向论文中更多关于 USPTO 专利背景数据的细节
RedPajama: Reproduction of Llama with Friendly License (Stanford, MILA Quebec)原评论 ↗
引用kelseyfrog · 2023-05

“In other words, parents aren't trying to teach their children language by reading them to sleep from The Pile[1].”

拿它作对比:家长不会靠读 The Pile 哄孩子入睡来教语言
Scaling Data-Constrained Language Models原评论 ↗
引用edent · 2023-07

“The Pile Paper - The Pile - says it was trained (in part) on”

引用论文说明它的 Books3 部分来自 Bibliotik tracker
Sarah Silverman is suing OpenAI and Meta for copyright infringement原评论 ↗
引用seanhunter · 2023-07

“If you look at The Pile paper[3] for example they explicitly say that much of the material is under copyright and that they are relying on fair use.”

引用论文说明其中许多材料有版权,依赖合理使用
LLaMA2 isn't “Open Source” – and why it doesn't matter原评论 ↗
引用capableweb · 2023-09

“From The Pile (The Pile: An 800GB Dataset of Diverse Text for Language Modeling)”

引用论文列出的数据来源,包括 HackerNews、arXiv 和 GitHub 文本
X updates Terms to allow it to use data for AI training原评论 ↗
引用wongarsu · 2023-09

“From their paper [0] the reasoning for the book datasets is that they are”

引用论文中收录图书数据集的理由
引用verdverm · 2023-12

“The Pile dataset for those interested”

给感兴趣的人介绍 The Pile 这个 800GB 的多样化文本数据集
Phi-2: The surprising power of small language models原评论 ↗
引用JW_00000 · 2025-02

“Books3 is a dataset of books derived from a copy of the contents of the Bibliotik private tracker made available by Shawn Presser (Presser, 2020).”

引用论文说明 Books3 来自 Bibliotik 私有 tracker 内容的副本
Meta torrented & seeded 81.7 TB dataset containing copyrighted data原评论 ↗
引用afpx · 2026-04

“But, the paper actually describes it as a bizarre mix of curated sources. The Pile”

指出论文把它描述为古怪的精选来源混合,而非未过滤的抓取
Even 'uncensored' models can't say what they want原评论 ↗