按年被提到
20232024 · 2 次2026
软件工程与 AI 编程›代码生成与程序合成·arXiv:2310.06770 · cs.CL

SWE-bench: Can Language Models Resolve Real-World GitHub Issues?

SWE-bench:语言模型能解决真实的 GitHub issue 吗?
Carlos E. Jimenez, John Yang, Alexander Wettig, Shunyu Yao, Kexin Pei, Ofir Press, Karthik Narasimhan · 2023

用 2,294 个真实 GitHub issue 评测模型修改代码库解决问题的能力。

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 7 人首次 2023-10-12 · 最近 2026-10-07
7不同的人
7活跃月份
7讨论串
438被引(OpenAlex)

论文提出 SWE-bench 评测框架,包含取自 12 个流行 Python 仓库真实 issue 及对应 pull request 的 2,294 个软件工程问题:给定代码库和 issue 描述,模型需要修改代码库来解决问题。这类问题常需要跨函数、类甚至文件协调修改,并要求与执行环境交互、处理超长上下文和复杂推理。评测显示,最先进的闭源模型和作者微调的 SWE-Llama 都只能解决最简单的 issue,表现最好的 Claude 2 仅解决 1.96%。

HN 为什么提它

评论者引用它说明用真实仓库的 issue 和 PR 来评测 LLM 编程能力:当年模型只能解决最简单的 issue,需要跨多文件修改时表现很差,也有人引用其数据构成(仅含 Python 仓库)。

实证研究难度 2 / 5约 40 分钟经得起时间
读之前最好知道
1大语言模型与代码生成基础
2Git、Pull Request 与 GitHub issue 工作流
3Python 与单元测试
4长上下文与检索(retrieval)

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用belter · 2024-01

“Our evaluations show that both state-of-the-art proprietary models and our fine-tuned model SWE-Llama can resolve only the simplest issues.”

引用其结果:最先进模型只能解决最简单的 GitHub issue
Researchers say generative AI isn't replacing devs any time soon原评论 ↗
引用sigmoid10 · 2025-09

“it uses real world software development examples from actual PRs in popular repos”

说明 SWE-bench 用热门仓库真实 PR 中的开发例子
Top model scores may be skewed by Git history leaks in SWE-bench原评论 ↗
引用kristianp · 2025-12

“Edit, it's about 37%, and python-only. SWE-bench”

补充 SWE-bench 的构成:约 37% 来自同一仓库,且只有 Python
Django: what’s new in 6.0原评论 ↗
引用ahmed-fathi · 2026-03

“SWE-bench Princeton does show that models struggle significantly with real-world issues requiring changes across multiple files and functions”

引用它说明模型在需跨多个文件和函数改动的真实 issue 上表现吃力
Ask HN: Does code style matter much anymore?原评论 ↗
引用chaostheory · 2026-10

“Jimenez, C. E., Yang, J., Wettig, A., et al. (2023). SWE-bench: Can Language Models Resolve Real-World GitHub Issues? arXiv. SWE-bench”

给出 SWE-bench 的完整引用,作为解决真实 GitHub issue 的基准
Agents don't need memory, they need documentation原评论 ↗
被提交为 story · 2 次