按年被提到
20262026 · 5 次2026
软件工程与 AI 编程›编程智能体与 AI 开发·arXiv:2603.03823 · cs.SE

SWE-CI: Evaluating Agent Capabilities in Maintaining Codebases via Continuous Integration

SWE-CI:通过持续集成评估智能体维护代码库的能力
Jialong Chen, Xander Xu, Hu Wei, Chuan Chen, Bing Zhao · 2026

首个基于持续集成循环、评测智能体长期维护代码的仓库级基准

开始阅读 ↗PDFalphaXiv 讨论
被推荐 · 5 人首次 2026-03-07 · 最近 2026-06-22
5不同的人
3活跃月份
5讨论串
8被引(OpenAlex)

指出现有基准多评测静态的一次性修复,无法体现真实软件在需求变更和长期迭代中的开发过程,于是提出 SWE-CI:首个基于持续集成循环的仓库级基准,把代码生成评测从静态、短期的功能正确性转向动态、长期的可维护性。核心思路是通过跟踪功能正确性随时间的变化来揭示可维护性。基准含 100 个任务,每个来自真实仓库,开发历史平均跨 233 天、71 次连续提交,要求智能体经过几十轮分析与编码迭代来解决。

HN 为什么提它

HN 上的人引用它作为证据,说明智能体群目前还不能产出可行的软件,并强调要先读懂它测的是什么、怎么测的,同时期待更多针对既有代码库任务的基准。

实证研究难度 2 / 5约 30 分钟有时效性
读之前最好知道
1软件工程与持续集成(CI)
2LLM 编程智能体
3SWE-bench 类基准
4代码可维护性与回归测试

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
推荐sanxiyn · 2026-03

“Read the study to understand what it is measuring and how it was measured.”

建议先读研究,弄清它测的是什么、怎么测的
Speed at the cost of quality: Study of use of Cursor AI in open source projects原评论 ↗
引用pron · 2026-05

“Studies (like this [1]) and Anthropic's experiements have told us they don't.”

拿它佐证智能体群目前还做不出可用的软件
Today I've made the difficult decision to reduce the size of Coinbase by ~14%原评论 ↗
引用keheliya · 2026-06

“There are upcoming benchmarks aimed at measuring the ability to work with brownfield tasks.”

提到即将出现衡量智能体处理既有代码库任务的基准
GLM 5.2 vs. Opus原评论 ↗
被提交为 story · 2 次