按年被提到
20222023 · 6 次2026
大模型与语言模型›大模型推理与思维链·arXiv:2205.11502 · cs.CL

On the Paradox of Learning to Reason from Data

论从数据中学习推理的悖论
Honghua Zhang, Liunian Harold Li, Tao Meng, Kai-Wei Chang, Guy Van den Broeck · 2022

BERT 在逻辑推理题上学到的是统计特征而非真正的推理

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 10 人首次 2022-08-13 · 最近 2024-10-14
10不同的人
8活跃月份
10讨论串
63被引(OpenAlex)

论文在一个存在能完美模拟逻辑推理的参数集的受限问题空间中,检验 BERT 能否端到端学会逻辑推理。BERT 在同分布测试上近乎完美,却无法泛化到同一问题空间的其他数据分布,原因是它学到了逻辑推理问题中天然存在的统计特征,而不是正确的推理函数;作者还表明很难同时消除数据中的这些统计特征。

HN 为什么提它

HN 上的人在争论 LLM 能否推理时,反复引用它(SimpleLogic)作为神经网络从数据中学到的是统计捷径而非逻辑推理的证据。

实证研究难度 3 / 5约 40 分钟经得起时间
读之前最好知道
1BERT 与 Transformer 架构
2命题逻辑与规则推理
3分布外泛化(out-of-distribution generalization)
4虚假相关(spurious correlation)

学习路径

读这篇之前,按顺序读书架上的 5 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

先掌握 Transformer 与 BERT,再看模型靠统计捷径答题的相关证据,以及用神经网络学逻辑求解的尝试,最后读这篇悖论。

  1. 1
    Attention Is All You Need注意力就是你所需要的一切 · 2017

    BERT 的基础架构

    读自注意力与编码器结构,作为理解被测模型的基础

  2. 2
    BERT: Pre-training of Deep Bidirectional Transformers for Language UnderstandingBERT:用于语言理解的深度双向 Transformer 预训练 · 2018

    目标论文测试的就是 BERT 能否学会逻辑推理

    读预训练与微调的流程,以及它在下游任务上的用法

  3. 3
    Right for the Wrong Reasons: Diagnosing Syntactic Heuristics in Natural Language Inference答对了却理由错误:诊断自然语言推理中的句法启发式 · 2019

    同类发现:模型在分布内高分,却依赖浅层启发式

    读HANS 评测集如何揭示 NLI 模型的启发式

  4. 4

    神经网络学习 SAT 求解,是逻辑推理的相关背景

    读只用单比特监督学习可满足性判断的设定

  5. 5
    SATNet: Bridging deep learning and logical reasoning using a differentiable satisfiability solverSATNet:用可微分可满足性求解器连接深度学习与逻辑推理 · 2019

    把逻辑求解器做成可微分层,另一条逻辑推理路线

    读可微分 MAXSAT 层如何嵌入网络,并学会数独

  6. 6
    On the Paradox of Learning to Reason from Data论从数据中学习推理的悖论 · 2022 · 就是这篇

    目标论文:BERT 学到统计特征而非真正的推理

    读分布内高准确率与分布外失败的矛盾,以及统计特征的解释

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用abetusk · 2022-12

“where they construct a synthetic data set based on some simple logical rules and then try to train a neural network to recapture the underlying logic (spoiler alter, it fails).”

引用它:在合成逻辑任务上训练网络复原逻辑规则,结果失败
Artificial Intelligence Is Stupid and Causal Reasoning Will Not Fix It原评论 ↗
引用d110af5ccf · 2023-02

“work such as On the Paradox of Learning to Reason from Data makes it apparent that in many cases this sort of generalization simply does not happen the way we'd like”

引用它说明这类泛化在许多情况下并不如人所愿
Getty Images v. Stability AI – Complaint原评论 ↗
引用cscurmudgeon · 2023-03

“Leave it to HN commenters to arrogantly ignore research by those in the field.”

指责 HN 评论者傲慢地无视该领域研究,该研究支持 LLM 不能可靠推理
Understanding ChatGPT原评论 ↗
引用cscurmudgeon · 2023-03

“There is a lot of research that shows they have trouble reasoning.”

指出有大量研究表明 LLM 在推理上有困难
引用jchw · 2023-07

“which is made harder by the fact that LLMs have trouble with logical reasoning[1]”

引用它说明 LLM 在逻辑推理上有困难
PoisonGPT: We hid a lobotomized LLM on Hugging Face to spread fake news原评论 ↗
引用nanolith · 2023-09

“Don't take my word for it though.”

引用它作证据:LLM 做不好逻辑题,支持模式匹配的看法
Provably safe systems: the only path to controllable AGI原评论 ↗
看全部 7 条 →
引用ahkpasp · 2024-10

“There are simpler problem domains, like SimpleLogic, where researchers show that learning logical reasoning from data is apparently impossible in practice”

举 SimpleLogic 为例:实践中似乎无法从数据中学会逻辑推理
DeepSeek: Advancing theorem proving in LLMs through large-scale synthetic data原评论 ↗
被提交为 story · 4 次