按年被提到
20242024 · 2 次2026
大模型与语言模型›大模型预训练与缩放·arXiv:2402.00159 · cs.CL

Dolma: an Open Corpus of Three Trillion Tokens for Language Model Pretraining Research

Dolma:用于语言模型预训练研究的三万亿词元开放语料库
Luca Soldaini, Rodney Kinney, Akshita Bhagia, Dustin Schwenk, David Atkinson, Russell Authur, Ben Bogin, Khyathi Chandu, Jennifer Dumas, Yanai Elazar, Valentin Hofmann, Ananya Harsh Jha 等 36 人 · 2024

发布并详述三万亿词元英文语料 Dolma 及其数据整理工具

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 4 人首次 2024-02-02 · 最近 2025-12-01发表于 Proceedings of the conference - Association for Computational Linguistics. Meeting
4不同的人
4活跃月份
4讨论串
56被引(OpenAlex)

最先进语言模型使用的预训练语料很少被公开讨论,这使得研究训练数据如何影响模型能力和局限变得困难。作者整理并发布 Dolma,一个三万亿词元的英文语料库,来源包括网页、科学论文、代码、公版图书、社交媒体和百科材料,并详细记录其设计原则、构建细节和内容概览。文中给出在 Dolma 中间状态上的分析与实验,分享关于数据整理实践的经验,并开源大规模数据整理工具包以便复现和后续研究。

HN 为什么提它

评论者把它称为与 OLMo 论文同时发布的专门介绍数据集的论文,并引用其流水线用 fastText 毒性分类器清洗语料,也用它说明开放预训练语料的构成。

其他难度 3 / 5约 60 分钟经得起时间
读之前最好知道
1语言模型预训练流程
2Common Crawl 与网页数据清洗
3去重与质量 / 毒性过滤
4分词与词元(token)

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用dwagnerkc · 2024-02

“That post also very helpfully links to another paper they published alongside the OLMo paper just on the dataset.”

指出该帖链接了与 OLMo 论文同时发布、专讲数据集的另一篇论文
OLMo: Accelerating the Science of Language Models [pdf]原评论 ↗
引用benreesman · 2024-06

“MIT, the Steel Factory, Cal, UDub and what, 37 authors pushed a preprint and no one heard about it?”

惊讶多所高校 37 位作者发布的预印本竟没人知道
AI for math resources, and erdosproblems.com原评论 ↗
引用strangecasts · 2025-05

“e.g. the fastText toxicity classifiers in the Dolma pipeline [2]”

举 Dolma 流程中的 fastText 毒性分类器为例
AI bot Grok blames its Holocaust scepticism on 'programming error'原评论 ↗
引用Eisenstein · 2025-12

“None, since 'legal' for AI training is not yet defined, but Olma is trained on the Dolma 3 dataset, which is”

指出 Olma 基于 Dolma 3 数据集训练,该数据集来自 Common Crawl、GitHub、Wikipedia 等
It’s been a very hard year原评论 ↗