“makes a very compelling case that swebench (and in extension, anything that's based on public source code) is most likely overestimating your agents actual capabilities.”
按年被提到
20252025 · 4 次2026
The SWE-Bench Illusion: When State-of-the-Art LLMs Remember Instead of Reason
SWE-Bench 的幻象:当最先进的 LLM 靠记忆而非推理
Shanchao Liang, Spandan Garg, Roshanak Zilouchian Moghaddam · 2025
SWE-Bench 成绩可能部分来自记忆而非真正解题
被推荐 · 6 人首次 2025-07-29 · 最近 2026-06-06
6不同的人
6活跃月份
7讨论串
12被引(OpenAlex)
论文质疑 SWE-Bench Verified 这类被广泛引用的软件工程基准可能高估了大模型的真实能力。作者设计了两个诊断任务:只凭 issue 描述识别出错文件路径,以及只给当前文件上下文和 issue 描述来复现标准答案函数,用以探测模型的底层知识。结果表明最先进的模型仅凭 issue 描述就能达到最高 76% 的出错文件路径识别准确率,而在 SWE-Bench 之外的仓库任务上最多仅 53%,函数复现任务上也有类似的逐字相似度差异,提示存在数据污染或记忆。作者呼吁更稳健、抗污染的基准。
HN 为什么提它
HN 上的人引用它说明基于公开代码的基准(如 SWE-Bench)很可能高估智能体的真实能力,并作为 LLM 会记忆而非推理的证据之一。
实证研究难度 2 / 5约 30 分钟有时效性
读之前最好知道
1大语言模型评测基准
2SWE-Bench 与 GitHub issue 修复任务
3数据污染(data contamination)
4n-gram 相似度
HN 书评
推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及推荐criemen · 2025-07
推荐它,认为它有力说明 SWE-bench 可能高估智能体能力
推荐lossolo · 2025-08
“another recent interesting paper SWE bench illusion shows SOTA code LLM results collapsing once memorised github issues are filtered out”
推荐它,指出过滤掉记忆的 GitHub issue 后 SOTA 成绩骤降
引用piskov · 2025-09
“how these things just memorize, not achieve any actual problem-solving”
拿它说明这些模型只是记忆,并非真正解题
引用Topfi · 2026-03
“Easily [0], reliably [1], consistently [2].”
拿它佐证现代 LLM 能轻易、稳定地复现记忆内容
引用Topfi · 2026-06
“On the code outputting front there is a lot of relevant evidence beyond the NYC lawsuit [0].”
拿它作为 LLM 输出代码时依赖记忆的证据
被提交为 story · 2 次
- The SWE-Bench Illusion: When LLMs Remember Instead of Reason ↗nurple · 2025-09-13 · 4 分
- The SWE-Bench Illusion: When LLMs Remember Instead of Reason ↗cadabrabra · 2026-02-02 · 1 分