“One paper that could be pretty useful for practical applications is this one Unsupervised Data Augmentation for Consistency Training”
按年被提到
20192019 · 2 次2026
Unsupervised Data Augmentation for Consistency Training
面向一致性训练的无监督数据增强
Qizhe Xie, Zihang Dai, Eduard Hovy, Minh-Thang Luong, Quoc V. Le · 2019
用 RandAugment 与回译加噪,做半监督一致性训练
被推荐 · 4 人首次 2019-04-30 · 最近 2020-09-04发表于 neural information processing systems
4不同的人
4活跃月份
4讨论串
1,840被引(OpenAlex)
主张在半监督一致性训练中,给无标注样本加噪的质量很关键,用 RandAugment 和回译等高级数据增强替换简单加噪,可在六个语言任务和三个视觉任务上带来明显提升。例如在 IMDb 上仅用 20 个标注样本,错误率 4.20,优于用 25,000 个标注样本训练的此前最优模型;在 CIFAR-10 上用 250 个样本错误率为 5.43。
HN 为什么提它
评论者把它当作对实际应用有用的数据增强论文推荐,尤其是 NLP 中的文本增强(如回译)。
方法难度 3 / 5约 40 分钟经得起时间
读之前最好知道
1半监督学习(semi-supervised learning)
2数据增强(RandAugment、回译)
3一致性正则化(consistency regularization)
4BERT 微调与迁移学习
学习路径
读这篇之前,按顺序读书架上的 6 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出这条路径先看半监督学习的一致性方法和数据增强,再看预训练语言模型,最后读 UDA 如何用高质量增强做一致性训练。
- 1
- 2
- 3
同期的半监督方法,UDA 以它为主要对比基线
读猜测标签、一致性正则与 mixup 的组合方式
- 4
- 5
UDA 在文本任务上从 BERT 出发,并与它的预训练做对比
读预训练加微调的流程,以及它与半监督学习的关系
- 6
该论文在 ImageNet 上做小标签量的半监督实验,是 UDA 的对比对象
读对比预测编码在少量标签下的表现
- 7Unsupervised Data Augmentation for Consistency Training
目标论文:用 RandAugment 与回译等高质量噪声做半监督一致性训练
读一致性训练的损失、增强方式的选择,以及文本与图像上的实验对比
HN 书评
推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及推荐hallqv · 2020-09
推荐它对实际应用可能很有用,介绍 NLP 等任务的数据增强策略
引用amitness · 2020-04
“that did some work on this direction.”
指出这篇做过这个方向的工作,用回译和停用词替换做文本增强
被提交为 story · 2 次
- Unsupervised Data Augmentation ↗pplonski86 · 2019-04-30 · 1 分
- Unsupervised Data Augmentation for Consistency Training ↗sel1 · 2019-07-12 · 1 分