引用YeGoblynQueenne · 2024-09
“Although note the results are interpreted to mean LLMs are more or less memorising answers, which is right of course.”
指出该基准的结果被解读为 LLM 基本在记忆答案
4.4 万题的 Winograd 风格常识推理基准,用 AfLite 去除数据偏差
Winograd 模式挑战(WSC)是包含 273 道专家编写的代词消解题的常识推理基准,神经语言模型在其变体上已达到约 90% 的准确率,这引出了模型是否真的具备稳健常识,还是依赖数据集中的虚假偏差而导致能力被高估的问题。论文构建了 4.4 万题的大规模数据集 WinoGrande,通过精心设计的众包流程,再用新算法 AfLite 系统地削减偏差,把人类可察觉的词语关联推广为机器可察觉的嵌入关联。当时最好的方法在其上只有 59.4%–79.1%,比 94.0% 的人类水平低 15%–35%,同时作为迁移学习资源在五个相关基准上刷新了最优结果,也说明现有基准可能高估了机器常识能力。
评论者提到它的结果被解读为大模型多少是在记忆答案,并在讨论 Winograd 挑战时把它引为人类水平表现的出处。
“Although note the results are interpreted to mean LLMs are more or less memorising answers, which is right of course.”
“Here is for instance source for the Winograd challenge human level performance:”