按年被提到
20232023 · 3 次2026
大模型与语言模型›检索增强与知识库·arXiv:2306.01116 · cs.CL

The RefinedWeb Dataset for Falcon LLM: Outperforming Curated Corpora with Web Data, and Web Data Only

用于 Falcon LLM 的 RefinedWeb 数据集:只用网页数据即可超越精选语料
Guilherme Penedo, Quentin Malartic, Daniel Hesslow, Ruxandra Cojocaru, Alessandro Cappelli, Hamza Alobeidli, Baptiste Pannier, Ebtesam Almazrouei, Julien Launay · 2023

仅用过滤去重后的网页数据训练出强于精选语料的 LLM

开始阅读 ↗PDFalphaXiv 讨论
被推荐 · 4 人首次 2023-06-23 · 最近 2024-03-27
4不同的人
5活跃月份
5讨论串
444被引(OpenAlex)

论文挑战了大模型预训练必须混合精选语料的看法,表明经过严格过滤和去重的纯网页数据足以训练出强大模型,甚至显著优于在 The Pile 上训练的最先进模型。作者从 CommonCrawl 中提取出五万亿 token 的高质量数据,并公开了其中 6000 亿 token 的子集,以及 1.3B 和 7.5B 参数的模型。

HN 为什么提它

HN 上的人把它当作大型开放网页训练数据集的例子,用来说明 LLM 数据如何构建,也常提到 HN 是其中被排除的少数网站之一。

实证研究难度 3 / 5约 45 分钟有时效性
读之前最好知道
1大语言模型预训练
2CommonCrawl 网页语料
3数据过滤与去重
4语言模型评测基准

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
推荐IshanMi · 2024-03

“A more recent and even larger dataset would be the Falcon-RefinedWeb dataset [2].”

补充一个更新更大的数据集 Falcon-RefinedWeb
DBRX: A new open LLM原评论 ↗
引用weinzierl · 2023-07

“For example, the RefinedWeb paper lists HN as one of only 12 websites that were excluded.”

指出 RefinedWeb 论文把 HN 列为仅有的 12 个被排除网站之一
Twitter now requires an account to view tweets原评论 ↗
引用YetAnotherNick · 2023-12

“If you take all public web text it is just something like 40 trillion characters”

引作公开网页文本规模估计的出处
Challenging projects every programmer should try (2019)原评论 ↗
引用weinzierl · 2024-02

“For example, the RefinedWeb paper lists HN as one of only 12 websites that were excluded.”

指出 RefinedWeb 论文把 HN 列为仅有的 12 个被排除网站之一
A steep rise of Hacker News in Google rankings原评论 ↗
被提交为 story · 1 次