按年被提到
20192019 · 2 次2026
大模型与语言模型›词向量与预训练模型·arXiv:1904.12848 · cs.LG

Unsupervised Data Augmentation for Consistency Training

面向一致性训练的无监督数据增强
Qizhe Xie, Zihang Dai, Eduard Hovy, Minh-Thang Luong, Quoc V. Le · 2019

用 RandAugment 与回译加噪,做半监督一致性训练

开始阅读 ↗PDFalphaXiv 讨论
被推荐 · 4 人首次 2019-04-30 · 最近 2020-09-04发表于 neural information processing systems
4不同的人
4活跃月份
4讨论串
1,840被引(OpenAlex)

主张在半监督一致性训练中,给无标注样本加噪的质量很关键,用 RandAugment 和回译等高级数据增强替换简单加噪,可在六个语言任务和三个视觉任务上带来明显提升。例如在 IMDb 上仅用 20 个标注样本,错误率 4.20,优于用 25,000 个标注样本训练的此前最优模型;在 CIFAR-10 上用 250 个样本错误率为 5.43。

HN 为什么提它

评论者把它当作对实际应用有用的数据增强论文推荐,尤其是 NLP 中的文本增强(如回译)。

方法难度 3 / 5约 40 分钟经得起时间
读之前最好知道
1半监督学习(semi-supervised learning)
2数据增强(RandAugment、回译)
3一致性正则化(consistency regularization)
4BERT 微调与迁移学习

学习路径

读这篇之前,按顺序读书架上的 6 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

这条路径先看半监督学习的一致性方法和数据增强,再看预训练语言模型,最后读 UDA 如何用高质量增强做一致性训练。

  1. 1

    较早的半监督学习方法,体现一致性训练思想的背景

    读无标签数据与去噪重建目标结合的思路

  2. 2

    mixup 是常用的数据增强方式,是 UDA 对比的参照

    读线性插值样本与标签的做法

  3. 3

    同期的半监督方法,UDA 以它为主要对比基线

    读猜测标签、一致性正则与 mixup 的组合方式

  4. 4

    UDA 的图像实验采用 Wide ResNet 作为骨干网络

    读只需了解网络宽度与深度的取舍

  5. 5
    BERT: Pre-training of Deep Bidirectional Transformers for Language UnderstandingBERT:用于语言理解的深度双向 Transformer 预训练 · 2018

    UDA 在文本任务上从 BERT 出发,并与它的预训练做对比

    读预训练加微调的流程,以及它与半监督学习的关系

  6. 6

    该论文在 ImageNet 上做小标签量的半监督实验,是 UDA 的对比对象

    读对比预测编码在少量标签下的表现

  7. 7
    Unsupervised Data Augmentation for Consistency Training面向一致性训练的无监督数据增强 · 2019 · 就是这篇

    目标论文:用 RandAugment 与回译等高质量噪声做半监督一致性训练

    读一致性训练的损失、增强方式的选择,以及文本与图像上的实验对比

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
推荐hallqv · 2020-09

“One paper that could be pretty useful for practical applications is this one Unsupervised Data Augmentation for Consistency Training”

推荐它对实际应用可能很有用,介绍 NLP 等任务的数据增强策略
100 NLP Papers原评论 ↗
引用amitness · 2020-04

“that did some work on this direction.”

指出这篇做过这个方向的工作,用回译和停用词替换做文本增强
Illustrated FixMatch for semi-supervised learning原评论 ↗
被提交为 story · 2 次