按年被提到
20212023 · 3 次2026
大模型与语言模型›大模型文本、写作与版权·arXiv:2105.05241 · cs.CL

Addressing "Documentation Debt" in Machine Learning Research: A Retrospective Datasheet for BookCorpus

应对机器学习研究中的“文档债务”:BookCorpus 的回溯式数据表
Jack Bandy, Nicholas Vincent · 2021

为 BookCorpus 补写数据表,揭示版权、重复和体裁偏斜问题。

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 3 人首次 2023-02-15 · 最近 2023-09-20
3不同的人
3活跃月份
3讨论串
57被引(OpenAlex)

为被 GPT、BERT 等模型广泛使用却几乎没有文档的 BookCorpus 数据集补写了一份初步的数据表(datasheet)。分析发现:许多书可能违反版权限制,数据集中有数千本重复的书,体裁分布明显偏斜;此外还有问题内容、宗教分布偏斜、作者贡献不均等线索有待后续研究。论文借此呼吁对机器学习数据集做更系统的文档化。

HN 为什么提它

评论者把它作为分析 BookCorpus 的来源,并用它佐证现有数据集存在版权问题。

实证研究难度 2 / 5约 30 分钟经得起时间
读之前最好知道
1语言模型训练数据(BERT、GPT 所用语料)
2数据集文档化(datasheet)
3版权基础概念

学习路径

读这篇之前,按顺序读书架上的 4 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

这条路径帮你理解数据集文档化的背景:BookCorpus 的来源与它如何被 BERT 一类模型使用,以及数据表与模型卡这两种文档规范。

  1. 1

    BookCorpus 的来源论文,说明了数据是如何收集的。

    读书籍文本的来源与用途;留意其中关于数据收集的描述有多简略。

  2. 2
    BERT: Pre-training of Deep Bidirectional Transformers for Language UnderstandingBERT:用于语言理解的深度双向 Transformer 预训练 · 2018

    BERT 使用 BookCorpus 预训练,说明这个数据集影响了大批模型。

    读预训练语料的部分;留意对语料描述的详细程度。

  3. 3
    Datasheets for Datasets数据集数据表(Datasheets for Datasets) · 2018

    数据表(Datasheets)正是目标论文所依据的文档框架。

    读数据表的问题清单:动机、构成、收集过程、用途;对应目标论文的结构。

  4. 4
    Model Cards for Model Reporting模型报告用的模型卡 · 2018

    模型卡是同类的文档化实践,与数据表互相补充。

    读模型卡各部分的作用;与数据表的关系。

  5. 5
    Addressing "Documentation Debt" in Machine Learning Research: A Retrospective Datasheet for BookCorpus应对机器学习研究中的“文档债务”:BookCorpus 的回溯式数据表 · 2021 · 就是这篇

    目标论文:为 BookCorpus 补写数据表,指出版权、重复和体裁偏斜问题。

    读数据集的构成统计与发现的问题;文档债务的概念。

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用touringa · 2023-02

“It has also been analyzed here and here:”

指出 BookCorpus 也被这份回溯式数据表分析过
Ask HN: Does Google use the text inside gdocs and Gmail for training AI models?原评论 ↗
引用sfriedr · 2023-07

“copyright issues that were found in existing datasets [2]”

引用它说明现有数据集存在版权问题
The Pile: a dataset for language modeling [pdf]原评论 ↗
引用Kaibeezy · 2023-09

“So now I will go look up those papers to get a better sense of things.”

表示要去查这些论文,以更好了解 BookCorpus