按年被提到
20192019 · 6 次2026
大模型与语言模型›大模型评测与真实性·arXiv:1907.07355 · cs.CL

Probing Neural Network Comprehension of Natural Language Arguments

探查神经网络对自然语言论证的理解
Timothy Niven, Hung-Yu Kao · 2019

BERT 在论证推理任务上的高分完全来自数据集的虚假统计线索

开始阅读 ↗PDFalphaXiv 讨论
被推荐 · 6 人首次 2019-07-19 · 最近 2023-12-26
6不同的人
4活跃月份
7讨论串
400被引(OpenAlex)

BERT 在 Argument Reasoning Comprehension Task 上的峰值成绩为 77%,只比未经训练的人类平均基线低三个点;但作者证明这一结果完全来自对数据集中虚假统计线索的利用,且一批模型都会利用这些线索。据此构造了一个对抗数据集,所有模型在其上都只有随机水平,作者建议把它作为未来工作的标准评估。

HN 为什么提它

评论者把它当作模型看似理解、实则钻基准漏洞的证据:BERT 在论证推理基准上基本是在取巧,说明问题出在基准而不是模型的理解能力。

实证研究难度 3 / 5约 20 分钟有时效性
读之前最好知道
1BERT 与预训练语言模型
2论证推理与自然语言推断任务
3数据集偏差与虚假线索(spurious cues)
4对抗数据集

学习路径

读这篇之前,按顺序读书架上的 5 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

这条路径帮我先熟悉 Transformer 和 BERT,再通过几篇关于数据集伪线索与对抗评测的论文,理解目标论文如何揭示 BERT 的高分来自虚假统计线索。

  1. 1
    Attention Is All You Need注意力就是你所需要的一切 · 2017

    BERT 的架构基础,也是理解目标论文中所测模型的前提。

    读自注意力与编码器结构;不必深究解码器与翻译实验。

  2. 2
    BERT: Pre-training of Deep Bidirectional Transformers for Language UnderstandingBERT:用于语言理解的深度双向 Transformer 预训练 · 2018

    目标论文的核心被测模型就是 BERT。

    读预训练目标(掩码语言模型)与微调方式,以及在句对任务上的输入格式。

  3. 3

    它用对抗样本评估阅读理解系统,是目标论文构造对抗数据集思路的先例。

    读插入干扰句的对抗评测方式,以及模型准确率的大幅下降。

  4. 4
    Measuring the tendency of CNNs to Learn Surface Statistical Regularities衡量 CNN 学习表层统计规律的倾向 · 2017

    同样讨论深度网络学习了表层统计规律,而非真正的任务能力(视觉领域)。

    读用傅里叶滤波考察对表层规律的依赖;对照目标论文中的虚假线索。

  5. 5
    Right for the Wrong Reasons: Diagnosing Syntactic Heuristics in Natural Language Inference答对了却理由错误:诊断自然语言推理中的句法启发式 · 2019

    同类研究:用受控评测集揭示 NLI 模型依赖启发式,BERT 也在其中。

    读HANS 的构造与各启发式;对照目标论文如何构造对抗数据集。

  6. 6
    Probing Neural Network Comprehension of Natural Language Arguments探查神经网络对自然语言论证的理解 · 2019 · 就是这篇

    目标论文:BERT 的高分完全来自虚假统计线索。

    读论证推理任务的结构、线索分析(如 not 等词)、对抗数据集上的随机水平结果。

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
推荐nicklecompte · 2023-12

“There was a devastating paper back in 2019[1] proving that Google's BERT model”

推荐这篇 2019 年论文,证明 BERT 在逻辑推理基准上完全是在投机取巧
Ask HN: What is the current state of "logical" AI?原评论 ↗
引用codingslave · 2019-07

“Similar to this post is this:”

贴出相似研究,说明 BERT 的论证理解成绩来自数据集的虚假线索
A Worrying Analysis of Recent Neural Recommendation Approaches原评论 ↗
引用YeGoblynQueenne · 2019-08

“So it seems to be the benchmarks that are flawed and not BERT and friends who are that good at text comprehension.”

认为是基准有缺陷,而不是 BERT 们真能理解文本
AI startup claims to automate app making but actually just uses humans原评论 ↗
引用YeGoblynQueenne · 2019-11

“strongly criticised, e.g. in Probing Neural Network Comprehension of Natural Language Arguments (Probing Neural”

引它说明神经网络在推理任务上的成功被夸大,并遭到强烈批评
Douglas Hofstadter: The Shallowness of Google Translate (2018)原评论 ↗
被提交为 story · 3 次