“ML has some really shoddy datasets, like really bad, worse than you think I mean.”
按年被提到
20212021 · 2 次2026
Quality at a Glance: An Audit of Web-Crawled Multilingual Datasets
一眼看质量:网络爬取多语言数据集审计
Julia Kreutzer, Isaac Caswell, Lisa Wang, Ahsan Wahab, Daan van Esch, Nasanbayar Ulzii-Orshikh, Allahsera Tapo, Nishant Subramani, Artem Sokolov, Claytone Sikasote, Monang Setyawan, Supheakmungkol Sarin 等 52 人 · 2021
人工审计五大多语言数据集的 205 个语种语料,发现低资源语料质量差
被提及 · 3 人首次 2021-03-29 · 最近 2024-04-16
3不同的人
3活跃月份
4讨论串
206被引(OpenAlex)
论文人工审计了随五个主要公开数据集(CCAligned、ParaCrawl、WikiMatrix、OSCAR、mC4)发布的 205 个语种语料的质量。较低资源的语料存在系统性问题:至少 15 个语料没有可用文本,相当一部分语料中可接受质量的句子不足 50%,许多还被错误标注或使用了非标准、有歧义的语言代码。作者表明即使不精通该语言的人也容易发现这些问题,并用自动分析补充人工审计,最后推荐评估与改进多语言语料的技术,并讨论低质量数据发布的潜在风险。
HN 为什么提它
HN 评论者引用它来说明机器学习里有些数据集质量相当糟糕,网络爬取的多语言数据集经常有严重错误。
实证研究难度 2 / 5约 35 分钟有时效性
读之前最好知道
1自然语言处理与多语言建模
2网络爬取数据集(Common Crawl 衍生)
3数据质量评估与人工标注
4语言代码与低资源语言
学习路径
读这篇之前,按顺序读书架上的 5 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出先看数据文档化与语种识别,再看大模型常用的网络语料,最后读对多语言网络爬取数据集的人工审计。
- 1
- 2
fastText 这类轻量分类器常用于语种识别,可帮助理解语种标注为何会出错。
读轻量文本分类器的原理;语种识别的具体用法以目标论文为准。
- 3
C4 清洗语料来自这里,是网络爬取语料如何过滤的参照。
读C4 语料的过滤规则。
- 4
- 5
Pile 展示了多样化大型语料的构建与分析方式,可作为数据集分析的对照。
读各子集的来源与分析方式。
- 6Quality at a Glance: An Audit of Web-Crawled Multilingual Datasets
目标论文:人工审计五个网络爬取多语言数据集的 205 个语种语料。
读审计方法、质量分级结果,以及低资源语种质量差的发现。
HN 书评
推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及引用Veedrac · 2021-04
拿它说明 ML 有些数据集质量极差
被提交为 story · 3 次
- Quality at a Glance: An Audit of Web-Crawled Multilingual Datasets ↗yorwba · 2021-03-29 · 1 分
- Quality at a Glance: An Audit of Web-Crawled Multilingual Datasets ↗tosh · 2024-04-11 · 3 分
- Quality at a Glance: An Audit of Web-Crawled Multilingual Datasets (2022) ↗tosh · 2024-04-16 · 2 分