按年被提到
20192024 · 2 次2026
大模型与语言模型›大模型评测与真实性·arXiv:1907.10641 · cs.CL

WinoGrande: An Adversarial Winograd Schema Challenge at Scale

WinoGrande:大规模对抗式 Winograd 模式挑战
Keisuke Sakaguchi, Ronan Le Bras, Chandra Bhagavatula, Yejin Choi · 2019

4.4 万题的 Winograd 风格常识推理基准,用 AfLite 去除数据偏差

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 3 人首次 2019-07-27 · 最近 2024-12-22
3不同的人
3活跃月份
3讨论串
579被引(OpenAlex)

Winograd 模式挑战(WSC)是包含 273 道专家编写的代词消解题的常识推理基准,神经语言模型在其变体上已达到约 90% 的准确率,这引出了模型是否真的具备稳健常识,还是依赖数据集中的虚假偏差而导致能力被高估的问题。论文构建了 4.4 万题的大规模数据集 WinoGrande,通过精心设计的众包流程,再用新算法 AfLite 系统地削减偏差,把人类可察觉的词语关联推广为机器可察觉的嵌入关联。当时最好的方法在其上只有 59.4%–79.1%,比 94.0% 的人类水平低 15%–35%,同时作为迁移学习资源在五个相关基准上刷新了最优结果,也说明现有基准可能高估了机器常识能力。

HN 为什么提它

评论者提到它的结果被解读为大模型多少是在记忆答案,并在讨论 Winograd 挑战时把它引为人类水平表现的出处。

实证研究难度 3 / 5约 50 分钟有时效性
读之前最好知道
1Winograd 模式与代词消解
2BERT/RoBERTa 等预训练语言模型
3众包数据集构建
4数据集偏差与对抗过滤

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用YeGoblynQueenne · 2024-09

“Although note the results are interpreted to mean LLMs are more or less memorising answers, which is right of course.”

指出该基准的结果被解读为 LLM 基本在记忆答案
OpenAI o1 Results on ARC-AGI-Pub原评论 ↗
引用mrconter11 · 2024-12

“Here is for instance source for the Winograd challenge human level performance:”

把它当作 Winograd 挑战人类水平表现的出处
H-Matched: A website tracking shrinking gap between AI and human performance原评论 ↗
被提交为 story · 1 次