按年被提到
20252025 · 4 次2026
大模型与语言模型›提示工程与输出稳定性·arXiv:2506.12286 · cs.AI

The SWE-Bench Illusion: When State-of-the-Art LLMs Remember Instead of Reason

SWE-Bench 的幻象:当最先进的 LLM 靠记忆而非推理
Shanchao Liang, Spandan Garg, Roshanak Zilouchian Moghaddam · 2025

SWE-Bench 成绩可能部分来自记忆而非真正解题

开始阅读 ↗PDFalphaXiv 讨论
被推荐 · 6 人首次 2025-07-29 · 最近 2026-06-06
6不同的人
6活跃月份
7讨论串
12被引(OpenAlex)

论文质疑 SWE-Bench Verified 这类被广泛引用的软件工程基准可能高估了大模型的真实能力。作者设计了两个诊断任务:只凭 issue 描述识别出错文件路径,以及只给当前文件上下文和 issue 描述来复现标准答案函数,用以探测模型的底层知识。结果表明最先进的模型仅凭 issue 描述就能达到最高 76% 的出错文件路径识别准确率,而在 SWE-Bench 之外的仓库任务上最多仅 53%,函数复现任务上也有类似的逐字相似度差异,提示存在数据污染或记忆。作者呼吁更稳健、抗污染的基准。

HN 为什么提它

HN 上的人引用它说明基于公开代码的基准(如 SWE-Bench)很可能高估智能体的真实能力,并作为 LLM 会记忆而非推理的证据之一。

实证研究难度 2 / 5约 30 分钟有时效性
读之前最好知道
1大语言模型评测基准
2SWE-Bench 与 GitHub issue 修复任务
3数据污染(data contamination)
4n-gram 相似度

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
推荐criemen · 2025-07

“makes a very compelling case that swebench (and in extension, anything that's based on public source code) is most likely overestimating your agents actual capabilities.”

推荐它,认为它有力说明 SWE-bench 可能高估智能体能力
Principles for production AI agents原评论 ↗
推荐lossolo · 2025-08

“another recent interesting paper SWE bench illusion shows SOTA code LLM results collapsing once memorised github issues are filtered out”

推荐它,指出过滤掉记忆的 GitHub issue 后 SOTA 成绩骤降
Open models by OpenAI原评论 ↗
引用piskov · 2025-09

“how these things just memorize, not achieve any actual problem-solving”

拿它说明这些模型只是记忆,并非真正解题
Using Claude Code to modernize a 25-year-old kernel driver原评论 ↗
引用Topfi · 2026-03

“Easily [0], reliably [1], consistently [2].”

拿它佐证现代 LLM 能轻易、稳定地复现记忆内容
FSF Threatens Anthropic over Infringed Copyright: Share Your LLMs Freel原评论 ↗
引用Topfi · 2026-06

“On the code outputting front there is a lot of relevant evidence beyond the NYC lawsuit [0].”

拿它作为 LLM 输出代码时依赖记忆的证据
Did Claude Increase Bugs in Rsync?原评论 ↗
被提交为 story · 2 次