“A recent paper by McCoy, Pavlick, and Linzen shows how brittle these systems are”
Right for the Wrong Reasons: Diagnosing Syntactic Heuristics in Natural Language Inference
用受控评测集 HANS 揭示 NLI 模型依赖脆弱的句法启发式
机器学习系统可能依靠对常见样例有效、在更难情形下失效的启发式,在测试集上取得好成绩。论文在自然语言推理(NLI)任务中研究这一问题,假设统计 NLI 模型可能采用三种不可靠的句法启发式:词汇重叠、子序列和成分启发式。作者引入受控评测集 HANS,其中包含大量这些启发式失效的样例,发现在 MNLI 上训练的模型(包括当时最先进的 BERT)在 HANS 上表现很差,说明它们确实采用了这些启发式,并指出 NLI 系统仍有很大改进空间。
评论者用它说明 NLI 模型有多脆弱、基准往往无法排除模型过拟合数据集的统计规律,并把 HANS 当作检验模型是否拾取了表面启发式的评测集。
学习路径
读这篇之前,按顺序读书架上的 2 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出HANS 针对的是 BERT 这类预训练模型,先了解 Transformer 和 BERT 的结构与微调方式,才能理解它们为何会依赖句法启发式。
- 1
- 2
HANS 的主要被测对象就是微调后的 BERT,需要知道它如何做 NLI 任务。
读预训练目标(掩码语言模型)与加输出层微调句对任务的方式。
- 3Right for the Wrong Reasons: Diagnosing Syntactic Heuristics in Natural Language Inference
构造受控评测集 HANS,揭示 NLI 模型依赖词汇重叠等句法启发式。
读三种启发式的定义、HANS 的构造方法以及各模型的表现。
HN 书评
推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及“Basically, many benchmarks are defined as classification tasks, e.g. with multiple choice questions supposedly testing a model's understanding, but without any way to ensure that a system is not overfitting to statistical regularities in the dataset”
“which is used to evaluate NLI models to check if they pick up surface heuristics”
- Right for the Wrong Reasons: Diagnosing Syntactic Heuristics in NLI (2019) ↗YeGoblynQueenne · 2021-03-04 · 1 分