按年被提到
20212021 · 2 次2026
大模型与语言模型›大模型评测与真实性·arXiv:2103.12028 · cs.CL

Quality at a Glance: An Audit of Web-Crawled Multilingual Datasets

一眼看质量:网络爬取多语言数据集审计
Julia Kreutzer, Isaac Caswell, Lisa Wang, Ahsan Wahab, Daan van Esch, Nasanbayar Ulzii-Orshikh, Allahsera Tapo, Nishant Subramani, Artem Sokolov, Claytone Sikasote, Monang Setyawan, Supheakmungkol Sarin 等 52 人 · 2021

人工审计五大多语言数据集的 205 个语种语料,发现低资源语料质量差

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 3 人首次 2021-03-29 · 最近 2024-04-16
3不同的人
3活跃月份
4讨论串
206被引(OpenAlex)

论文人工审计了随五个主要公开数据集(CCAligned、ParaCrawl、WikiMatrix、OSCAR、mC4)发布的 205 个语种语料的质量。较低资源的语料存在系统性问题:至少 15 个语料没有可用文本,相当一部分语料中可接受质量的句子不足 50%,许多还被错误标注或使用了非标准、有歧义的语言代码。作者表明即使不精通该语言的人也容易发现这些问题,并用自动分析补充人工审计,最后推荐评估与改进多语言语料的技术,并讨论低质量数据发布的潜在风险。

HN 为什么提它

HN 评论者引用它来说明机器学习里有些数据集质量相当糟糕,网络爬取的多语言数据集经常有严重错误。

实证研究难度 2 / 5约 35 分钟有时效性
读之前最好知道
1自然语言处理与多语言建模
2网络爬取数据集(Common Crawl 衍生)
3数据质量评估与人工标注
4语言代码与低资源语言

学习路径

读这篇之前,按顺序读书架上的 5 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

先看数据文档化与语种识别,再看大模型常用的网络语料,最后读对多语言网络爬取数据集的人工审计。

  1. 1
    Datasheets for Datasets数据集数据表(Datasheets for Datasets) · 2018

    数据集文档化的框架,说明为何需要检查数据质量。

    读数据表要回答的问题(动机、构成、收集方式)。

  2. 2
    Bag of Tricks for Efficient Text Classification高效文本分类的技巧集:fastText · 2016

    fastText 这类轻量分类器常用于语种识别,可帮助理解语种标注为何会出错。

    读轻量文本分类器的原理;语种识别的具体用法以目标论文为准。

  3. 3
    Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer探索迁移学习的极限:统一的文本到文本 Transformer · 2019

    C4 清洗语料来自这里,是网络爬取语料如何过滤的参照。

    读C4 语料的过滤规则。

  4. 4
    Language Models are Few-Shot Learners语言模型是少样本学习者 · 2020

    GPT-3 的训练语料大量来自过滤后的网络爬取数据,说明数据质量的影响。

    读训练数据的构成与过滤,不必读评测部分。

  5. 5
    The Pile: An 800GB Dataset of Diverse Text for Language ModelingThe Pile:用于语言建模的 800GB 多样化文本数据集 · 2020

    Pile 展示了多样化大型语料的构建与分析方式,可作为数据集分析的对照。

    读各子集的来源与分析方式。

  6. 6
    Quality at a Glance: An Audit of Web-Crawled Multilingual Datasets一眼看质量:网络爬取多语言数据集审计 · 2021 · 就是这篇

    目标论文:人工审计五个网络爬取多语言数据集的 205 个语种语料。

    读审计方法、质量分级结果,以及低资源语种质量差的发现。

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用Veedrac · 2021-04

“ML has some really shoddy datasets, like really bad, worse than you think I mean.”

拿它说明 ML 有些数据集质量极差
Error-riddled data sets are warping our sense of how good AI is原评论 ↗
被提交为 story · 3 次