“It has also been analyzed here and here:”
按年被提到
20212023 · 3 次2026
Addressing "Documentation Debt" in Machine Learning Research: A Retrospective Datasheet for BookCorpus
应对机器学习研究中的“文档债务”:BookCorpus 的回溯式数据表
Jack Bandy, Nicholas Vincent · 2021
为 BookCorpus 补写数据表,揭示版权、重复和体裁偏斜问题。
被提及 · 3 人首次 2023-02-15 · 最近 2023-09-20
3不同的人
3活跃月份
3讨论串
57被引(OpenAlex)
为被 GPT、BERT 等模型广泛使用却几乎没有文档的 BookCorpus 数据集补写了一份初步的数据表(datasheet)。分析发现:许多书可能违反版权限制,数据集中有数千本重复的书,体裁分布明显偏斜;此外还有问题内容、宗教分布偏斜、作者贡献不均等线索有待后续研究。论文借此呼吁对机器学习数据集做更系统的文档化。
HN 为什么提它
评论者把它作为分析 BookCorpus 的来源,并用它佐证现有数据集存在版权问题。
实证研究难度 2 / 5约 30 分钟经得起时间
读之前最好知道
1语言模型训练数据(BERT、GPT 所用语料)
2数据集文档化(datasheet)
3版权基础概念
学习路径
读这篇之前,按顺序读书架上的 4 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出这条路径帮你理解数据集文档化的背景:BookCorpus 的来源与它如何被 BERT 一类模型使用,以及数据表与模型卡这两种文档规范。
- 1
BookCorpus 的来源论文,说明了数据是如何收集的。
读书籍文本的来源与用途;留意其中关于数据收集的描述有多简略。
- 2
BERT 使用 BookCorpus 预训练,说明这个数据集影响了大批模型。
读预训练语料的部分;留意对语料描述的详细程度。
- 3
- 4
- 5Addressing "Documentation Debt" in Machine Learning Research: A Retrospective Datasheet for BookCorpus
目标论文:为 BookCorpus 补写数据表,指出版权、重复和体裁偏斜问题。
读数据集的构成统计与发现的问题;文档债务的概念。