推荐sanxiyn · 2026-03
“Read the study to understand what it is measuring and how it was measured.”
建议先读研究,弄清它测的是什么、怎么测的
首个基于持续集成循环、评测智能体长期维护代码的仓库级基准
指出现有基准多评测静态的一次性修复,无法体现真实软件在需求变更和长期迭代中的开发过程,于是提出 SWE-CI:首个基于持续集成循环的仓库级基准,把代码生成评测从静态、短期的功能正确性转向动态、长期的可维护性。核心思路是通过跟踪功能正确性随时间的变化来揭示可维护性。基准含 100 个任务,每个来自真实仓库,开发历史平均跨 233 天、71 次连续提交,要求智能体经过几十轮分析与编码迭代来解决。
HN 上的人引用它作为证据,说明智能体群目前还不能产出可行的软件,并强调要先读懂它测的是什么、怎么测的,同时期待更多针对既有代码库任务的基准。
“Read the study to understand what it is measuring and how it was measured.”
“Studies (like this [1]) and Anthropic's experiements have told us they don't.”
“There are upcoming benchmarks aimed at measuring the ability to work with brownfield tasks.”