“There was a devastating paper back in 2019[1] proving that Google's BERT model”
Probing Neural Network Comprehension of Natural Language Arguments
BERT 在论证推理任务上的高分完全来自数据集的虚假统计线索
BERT 在 Argument Reasoning Comprehension Task 上的峰值成绩为 77%,只比未经训练的人类平均基线低三个点;但作者证明这一结果完全来自对数据集中虚假统计线索的利用,且一批模型都会利用这些线索。据此构造了一个对抗数据集,所有模型在其上都只有随机水平,作者建议把它作为未来工作的标准评估。
评论者把它当作模型看似理解、实则钻基准漏洞的证据:BERT 在论证推理基准上基本是在取巧,说明问题出在基准而不是模型的理解能力。
学习路径
读这篇之前,按顺序读书架上的 5 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出这条路径帮我先熟悉 Transformer 和 BERT,再通过几篇关于数据集伪线索与对抗评测的论文,理解目标论文如何揭示 BERT 的高分来自虚假统计线索。
- 1
- 2
目标论文的核心被测模型就是 BERT。
读预训练目标(掩码语言模型)与微调方式,以及在句对任务上的输入格式。
- 3
它用对抗样本评估阅读理解系统,是目标论文构造对抗数据集思路的先例。
读插入干扰句的对抗评测方式,以及模型准确率的大幅下降。
- 4
同样讨论深度网络学习了表层统计规律,而非真正的任务能力(视觉领域)。
读用傅里叶滤波考察对表层规律的依赖;对照目标论文中的虚假线索。
- 5
同类研究:用受控评测集揭示 NLI 模型依赖启发式,BERT 也在其中。
读HANS 的构造与各启发式;对照目标论文如何构造对抗数据集。
- 6Probing Neural Network Comprehension of Natural Language Arguments
目标论文:BERT 的高分完全来自虚假统计线索。
读论证推理任务的结构、线索分析(如 not 等词)、对抗数据集上的随机水平结果。
HN 书评
推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及“Similar to this post is this:”
“So it seems to be the benchmarks that are flawed and not BERT and friends who are that good at text comprehension.”
“strongly criticised, e.g. in Probing Neural Network Comprehension of Natural Language Arguments (Probing Neural”
- Probing Neural Network Comprehension of Natural Language Arguments ↗sel1 · 2019-07-19 · 1 分
- BERT's success due to 'spurious statistical cues' ↗high_derivative · 2019-07-21 · 2 分
- Probing Neural Network Comprehension of Natural Language Arguments ↗jonbaer · 2019-07-22 · 3 分